凸函數

此條目介紹的是英文為Convex function的函數。關於英文為Concave function的函數，請見「凹函數」。

凸函數（英文：Convex function）是指函數圖形上，任意兩點連成的線段，皆位於圖形的上方的實值函數，^[1]如單變數的二次函數和指數函數。二階可導的一元函數${\displaystyle f}$為凸，若且唯若其定義域為凸集，且函數的二階導數${\displaystyle f''}$在整個定義域上非負。直觀理解，凸函數的圖像形如開口向上的杯${\displaystyle \cup }$，而相反，凹函數則形如開口向下的帽${\displaystyle \cap }$。

凸函數的圖像上任取兩點，連成的線段必在圖像上方。

二元二次多項式函數${\displaystyle (x,y)\mapsto x^{2}+xy+y^{2}}$的圖像，形如開口向上的碗。

在最優化研究中，凸函數的最小化問題有唯一性，即凸開集上的嚴格凸函數，至多只有一個極小值。

概率論中，凸函數${\displaystyle f}$作用在某隨機變量期望值${\displaystyle \mathbb {E} [X]}$所得的結果，總不大於對隨機變量先取函數值再取期望，即

${\displaystyle f(\mathbb {E} [X])\leq \mathbb {E} [f(X)],}$

稱為延森不等式。該不等式可以推導出均值不等式及赫爾德不等式等結果。

注意：中國大陸數學界某些機構關於函數凹凸性定義和國外的定義是相反的。Convex Function在某些中國大陸的數學書中指凹函數。Concave Function指凸函數。但在中國大陸涉及經濟學的很多書中，凹凸性的提法和其他國家的提法是一致的，也就是和數學教材是反的。舉個例子，同濟大學高等數學教材對函數的凹凸性定義與本條目相反，本條目的凹凸性是指其上方圖是凹集或凸集，而同濟大學高等數學教材則是指其下方圖是凹集或凸集，兩者定義正好相反。

定義

形像理解凸函數與延森不等式

${\displaystyle C}$為某實向量空間的凸子集，若實值函數${\displaystyle f:C\to \mathbb {R} }$ 對任意 ${\displaystyle 0\leq t\leq 1}$及任意${\displaystyle v,\,w\in C}$，皆有

${\displaystyle f\left[v+t\cdot (w-v)\right]\leq f(v)+t\cdot \left[f(w)-f(v)\right]}$

則 ${\displaystyle f}$ 稱為凸函數。

若 ${\displaystyle C\subseteq \mathbb {R} }$ ，然後在 ${\displaystyle f}$ 圖像上任取兩點${\displaystyle \left(x_{1},f\left(x_{1}\right)\right)}$和${\displaystyle \left(x_{2},f\left(x_{2}\right)\right)}$ 連線，則連線上某點 ${\displaystyle p}$ 的 ${\displaystyle x}$ 座標可以想成從 ${\displaystyle x_{1}}$ 出發，前進了 ${\displaystyle x_{2}-x_{1}}$ 這整段的一部分而已，也就是說

${\displaystyle 0\leq t={\frac {x-x_{1}}{x_{2}-x_{1}}}\leq 1}$

循着同樣的比例 ${\displaystyle t}$ ， ${\displaystyle p}$ 的 ${\displaystyle y}$ 座標就可以寫成

${\displaystyle 0\leq t={\frac {y-f(x_{1})}{f(x_{2})-f(x_{1})}}\leq 1}$

但同樣的 ${\displaystyle x}$ 座標下，對應的 ${\displaystyle f}$ 函數值就是

${\displaystyle f\left[x_{1}+t\cdot (x_{2}-x_{1})\right]}$

所以，凸函數的定義意為，${\displaystyle f}$ 的圖像上，任意相異兩點的連線不能低於中間${\displaystyle f}$ 的曲線。^[2]換言之，函數的上境圖（英語：Epigraph (mathematics)）（圖像上方的點的集合）為凸集。

嚴格凸函數

若將定義的${\displaystyle \leq }$號換成${\displaystyle <}$，則得到嚴格凸的定義：

${\displaystyle f}$稱為嚴格凸，意思是對${\displaystyle 0<t<1}$和任意不相等的${\displaystyle v,\,w\in C}$，皆有

${\displaystyle f\left[v+t\cdot (w-v)\right]<f(v)+t\cdot \left[f(w)-f(v)\right]}$

若 ${\displaystyle C\subseteq \mathbb {R} }$ ，在嚴格凸函數${\displaystyle f}$的圖像曲線上，任意兩相異點的連線，除端點外皆高於曲線。

幾乎凸函數

若 ${\displaystyle C\subseteq \mathbb {R} }$，實值函數${\displaystyle f:C\to \mathbb {R} }$ 對於任意三實數 ${\displaystyle x\leq z\leq y}$ ，都有${\displaystyle f(z)\leq \max\{f(x),\,f(y)\}}$，則稱 ${\displaystyle f}$ 是幾乎凸的。

性質

凸函數的某些性質，多元情況的敍述與一元情況同樣簡單。此種性質，可能僅於多元情況列舉，恕不在一元情況贅述。

一元情況

函數（藍色）是凸的，若且唯若其上方的區域（綠色）是一個凸集。

• 設${\displaystyle f}$是一元實函數，定義域為區間。考慮割線斜率$${\displaystyle R(x_{1},x_{2})={\frac {f(x_{2})-f(x_{1})}{x_{2}-x_{1}}},}$$則函數${\displaystyle R}$是對稱函數（粵語：對稱函數），即關於${\displaystyle R(x_{1},x_{2})=R(x_{2},x_{1})}$。${\displaystyle f}$為凸，當且僅當對每個固定的${\displaystyle x_{2}}$，皆有${\displaystyle R(x_{1},x_{2})}$關於${\displaystyle x_{1}}$單調不減（或由對稱性，可將此句中${\displaystyle x_{1},x_{2}}$互換）。此刻劃有助證明以下的結果。
• 若一元凸函數${\displaystyle f}$定義在開區間${\displaystyle C}$內，則在C內連續，且處處有左側及右側的單邊導數（英語：Semi-differentiability）。如此定義的兩個單邊導函數，皆為單調不減。由此推出，除可數個點外，${\displaystyle f}$在其他點皆可微（不過不可導的點組成的集合，仍有可能稠密）。如果${\displaystyle C}$是閉區間，那麼${\displaystyle f}$有可能在${\displaystyle C}$的端點不連續，見例子。
• 一元可微函數在區間上是凸的，若且唯若函數位於所有它的切線的上方：^[3]:69對於區間內的所有${\displaystyle x}$和${\displaystyle y}$，都有$${\displaystyle f(x)\geq f(y)+f'(y)(x-y).}$$特別地，如果${\displaystyle f'(y)=0}$，則上式化為${\displaystyle f(x)\geq f(y)}$，故${\displaystyle f(y)}$是${\displaystyle f}$的最小值。
• 一元可微函數在某個區間上是凸的，若且唯若它的導數在該區間上單調不減。若一元函數既凸又可導，則其導數也連續。
• 一元二階可微的函數在區間上是凸的，若且唯若它的二階導數（英語：second derivative）是非負的；這是判斷某個函數是否凸的實用方法。直觀地，二階可導的凸函數「向上彎」，而不會屈向另一邊（即無拐點）。如果它的二階導數是正數，那麼函數就是嚴格凸的，但反過來不成立。例如，${\displaystyle f(x)=x^{4}}$的二階導數是${\displaystyle f''(x)=12x^{2}}$，當${\displaystyle x=0}$時為零，但${\displaystyle f}$是嚴格凸的。
  • 此性質的條件「二階導數非負」與前一個性質的條件「導數單調不減」有差異。若${\displaystyle f''}$在區間${\displaystyle C}$非負，則的確${\displaystyle f'}$在${\displaystyle C}$單調不減。反之則不然，因為可能有${\displaystyle f'}$在${\displaystyle C}$單調不減，但在某點不可導，即${\displaystyle f''}$在${\displaystyle C}$中某點無定義。
• 若${\displaystyle f}$為一元凸函數，且${\displaystyle f(0)\leq 0}$，則${\displaystyle f}$在正數集內為超可加函數（英語：Superadditivity），即${\displaystyle f(a+b)\geq f(a)+f(b)}$對任意正實數${\displaystyle a,b}$成立。

多元情況

更一般地，多元二次可微的連續函數在凸集上是凸的，若且唯若它的黑塞矩陣在凸集的內部是半正定的。

凸函數的任何極小值也是最小值。嚴格凸函數最多有一個最小值。

對於凸函數f，水平子集{x | f(x) < a}和{x | f(x) ≤ a}（a ∈ R）是凸集。然而，水平子集是凸集的函數不一定是凸函數；這樣的函數稱為擬凸函數。

延森不等式對於每一個凸函數f都成立。如果${\displaystyle X}$是一個隨機變量，在f的定義域內取值，那麼${\displaystyle f(\mathbb {E} [X])\leq \mathbb {E} [f(X)],}$（在這裏，${\displaystyle E}$表示數學期望。）

凸函數的初等運算

• 如果${\displaystyle f}$和${\displaystyle g}$是凸函數，那麼${\displaystyle m(x)=\max\{f(x),g(x)\}}$和${\displaystyle h(x)=f(x)+g(x)}$也是凸函數。
• 如果${\displaystyle f}$和${\displaystyle g}$是凸函數，且${\displaystyle g}$遞增，那麼${\displaystyle h(x)=g(f(x))}$是凸函數。
• 凸性在仿射映射下不變：也就是說，如果${\displaystyle f(x)}$是凸函數（${\displaystyle x\in \mathbb {R} ^{n}}$），那麼${\displaystyle g(y)=f(Ay+b)}$也是凸函數，其中${\displaystyle A\in \mathbb {R} ^{n\times m},\;b\in \mathbb {R} ^{n}.}$
• 如果${\displaystyle f(x,y)}$在${\displaystyle (x,y)}$內是凸函數，且${\displaystyle C}$是一個凸的非空集，那麼${\displaystyle g(x)=\inf _{y\in C}f(x,y)}$在${\displaystyle x}$內是凸函數，只要對於某個${\displaystyle x}$，有${\displaystyle g(x)>-\infty }$。

例子

• 函數${\displaystyle f(x)=x^{2}}$處處有${\displaystyle f\,''(x)=2>0}$，因此f是一個（嚴格的）凸函數。
• 絕對值函數${\displaystyle f(x)=|x|}$是凸函數，雖然它在點x = 0沒有導數。
• 當${\displaystyle p\geqslant 1}$時，函數${\displaystyle f(x)=|x|^{p}}$是凸函數。
• 定義域為[0,1]的函數f，定義為f(0)=f(1)=1，當0<x<1時f(x)=0，是凸函數；它在開區間(0,1)內連續，但在0和1不連續。
• 函數${\displaystyle f(x)=x^{3}}$的二階導數為${\displaystyle f\,''(x)=6x}$，因此它在x ≥ 0的集合上是凸函數，在x ≤ 0的集合上是凹函數。
• 每一個在${\displaystyle \mathbb {R} }$內取值的線性變換都是凸函數，但不是嚴格凸函數，因為如果f是線性函數，那麼${\displaystyle f(a+b)=f(a)+f(b)}$。如果將「凸」替換為「凹」，該命題也成立。
• 每一個在${\displaystyle \mathbb {R} }$內取值的仿射變換，也就是說，每一個形如${\displaystyle f(x)=a^{T}x+b}$的函數，既是凸函數又是凹函數。
• 每一個範數都是凸函數，這是由於三角不等式。
• 如果${\displaystyle f}$是凸函數，那麼當${\displaystyle t>0}$時，${\displaystyle g(x,t)=tf(x/t)}$是凸函數。
• ${\displaystyle f(x)={\sqrt {x}}}$和${\displaystyle g(x)=\log(x)}$為單調遞增但非凸的函數。
• 函數f(x) = 1/x²，f(0)=+∞，在區間(0,+∞)內是凸函數，在區間(-∞,0)內也是凸函數，但是在區間(-∞,+∞)內不是凸函數，這是由於x = 0處的奇點。

參見

• 凹函數
• 凸集
• 對數凸函數

參考文獻

1. 36-705 Intermediate Statistics: Lecture Notes 2 [中級統計學：講義2] (PDF). www.stat.cmu.edu. [3 March 2017]. （原始內容存檔 (PDF)於2021-05-06） （英語）.
2. Concave Upward and Downward [上凸與下凸]. mathsisfun.com. （原始內容存檔於2013-12-18） （英語）.
3. Boyd, Stephen P.; Vandenberghe, Lieven. Convex Optimization [凸優化] (pdf). Cambridge University Press. 2004 [October 15, 2011]. ISBN 978-0-521-83378-3. （原始內容存檔 (PDF)於2021-05-09） （英語）.

• Moon, Todd. Tutorial: Convexity and Jensen's inequality. [2008-09-04]. （原始內容存檔於2008-04-20）.
• Rockafellar, R. T. Convex analysis. Princeton: Princeton University Press. 1970.
• Luenberger, David. Linear and Nonlinear Programming. Addison-Wesley. 1984.
• Luenberger, David. Optimization by Vector Space Methods. Wiley & Sons. 1969.
• Bertsekas, Dimitri. Convex Analysis and Optimization. Athena Scientific. 2003.
• Thomson, Brian. Symmetric Properties of Real Functions. CRC Press. 1994.

• Hiriart-Urruty, Jean-Baptiste, and Lemaréchal, Claude. (2004). Fundamentals of Convex analysis. Berlin: Springer.
• Krasnosel'skii M.A., Rutickii Ya.B. Convex Functions and Orlicz Spaces. Groningen: P.Noordhoff Ltd. 1961.
• Borwein, Jonathan, and Lewis, Adrian. (2000). Convex Analysis and Nonlinear Optimization. Springer.