特徵函數 (概率論)

在概率論中，任何隨機變量的特徵函數（縮寫：ch.f，複數形式：ch.f's）完全定義了它的概率分佈。在實直線上，它由以下公式給出，其中${\displaystyle X}$是任何具有該分佈的隨機變量：

${\displaystyle \varphi _{X}(t)=\operatorname {E} \left(e^{itX}\right)}$，

The characteristic function of a uniform U(–1,1) random variable. This function is real-valued because it corresponds to a random variable that is symmetric around the origin; however characteristic functions may generally be complex-valued.

其中${\displaystyle t}$是一個實數，${\displaystyle i}$是虛數單位，${\displaystyle E}$表示期望值。

用矩母函數${\displaystyle M_{X}(t)}$來表示（如果它存在），特徵函數就是${\displaystyle iX}$的矩母函數，或${\displaystyle X}$在虛數軸上求得的矩母函數。

${\displaystyle \varphi _{X}(t)=M_{iX}(t)=M_{X}(it)}$

與矩母函數不同，特徵函數總是存在。

如果${\displaystyle F_{X}}$是累積分佈函數，那麼特徵函數由黎曼－斯蒂爾傑斯積分給出：

${\displaystyle \operatorname {E} \left(e^{itX}\right)=\int _{-\infty }^{\infty }e^{itx}\,dF_{X}(x)}$。

在概率密度函數${\displaystyle f_{X}}$存在的情況下，該公式就變為：

${\displaystyle \operatorname {E} \left(e^{itX}\right)=\int _{-\infty }^{\infty }e^{itx}f_{X}(x)\,dx}$。

如果${\displaystyle X}$是一個向量值隨機變量，我們便取自變量${\displaystyle t}$為向量，${\displaystyle tX}$為數量積。

${\displaystyle R}$或${\displaystyle R^{n}}$上的每一個概率分佈都有特徵函數，因為我們是在有限測度的空間上對一個有界函數進行積分，且對於每一個特徵函數都正好有一個概率分佈。

一個對稱概率密度函數的特徵函數（也就是滿足${\displaystyle f_{X}(x)=f_{X}(-x)}$）是實數，因為從${\displaystyle x>0}$所獲得的虛數部分與從${\displaystyle x<0}$所獲得的相互抵消。

性質

連續性

主條目：勒維連續定理

勒維連續定理說明，假設${\displaystyle (X_{n})_{n=1}^{\infty }}$為一個隨機變量序列，其中每一個${\displaystyle X_{n}}$都有特徵函數${\displaystyle \varphi _{n}}$，那麼它依分佈收斂於某個隨機變量${\displaystyle X}$：

${\displaystyle X_{n}{\xrightarrow {\mathcal {D}}}X}$當${\displaystyle n\to \infty }$

如果

${\displaystyle \varphi _{n}\quad {\xrightarrow {\textrm {pointwise}}}\quad \varphi }$當${\displaystyle n\to \infty }$

且${\displaystyle \varphi (t)}$在${\displaystyle \ t=0}$處連續，${\displaystyle \varphi }$是${\displaystyle X}$的特徵函數。

勒維連續定理可以用來證明弱大數法則。

反演定理

在累積概率分佈函數與特徵函數之間存在對射。也就是說，兩個不同的概率分佈不能有相同的特徵函數。

給定一個特徵函數φ，可以用以下公式求得對應的累積概率分佈函數${\displaystyle F}$：

${\displaystyle F_{X}(y)-F_{X}(x)=\lim _{\tau \to +\infty }{\frac {1}{2\pi }}\int _{-\tau }^{+\tau }{\frac {e^{-itx}-e^{-ity}}{it}}\,\varphi _{X}(t)\,dt}$。

一般地，這是一個廣義積分；被積分的函數可能只是條件可積而不是勒貝格可積的，也就是說，它的絕對值的積分可能是無窮大。^[1]

博赫納-辛欽定理/公理化定義

主條目：博赫納定理

任意一個函數${\displaystyle \varphi }$是對應於某個概率律${\displaystyle \mu }$的特徵函數，當且僅當滿足以下三個條件：

1. ${\displaystyle \varphi \,}$是連續的；
2. ${\displaystyle \varphi (0)=1\,}$；
3. ${\displaystyle \varphi \,}$是一個正定函數（注意這是一個複雜的條件，與${\displaystyle \varphi >0}$不等價）。

計算性質

特徵函數對於處理獨立隨機變量的函數特別有用。例如，如果${\displaystyle X_{1}}$、${\displaystyle X_{2}}$、……、${\displaystyle X_{n}}$是一個獨立（不一定同分佈）的隨機變量的序列，且

${\displaystyle S_{n}=\sum _{i=1}^{n}a_{i}X_{i},\,\!}$

其中${\displaystyle a_{i}}$是常數，那麼${\displaystyle S_{n}}$的特徵函數為：

${\displaystyle \varphi _{S_{n}}(t)=\varphi _{X_{1}}(a_{1}t)\varphi _{X_{2}}(a_{2}t)\cdots \varphi _{X_{n}}(a_{n}t).\,\!}$

特別地，${\displaystyle \varphi _{X+Y}(t)=\varphi _{X}(t)\varphi _{Y}(t)}$。這是因為：

${\displaystyle \varphi _{X+Y}(t)=E\left(e^{it(X+Y)}\right)=E\left(e^{itX}e^{itY}\right)=E\left(e^{itX}\right)E\left(e^{itY}\right)=\varphi _{X}(t)\varphi _{Y}(t)}$。

注意我們需要${\displaystyle X}$和${\displaystyle Y}$的獨立性來確立第三和第四個表達式的相等性。

另外一個特殊情況，是${\displaystyle a_{i}={\frac {1}{n}}}$且${\displaystyle S_{n}}$為樣本平均值。在這個情況下，用${\displaystyle {\overline {X}}}$表示平均值，我們便有：

${\displaystyle \varphi _{\overline {X}}(t)=\left(\varphi _{X}\left({\frac {t}{n}}\right)\right)^{n}}$。

特徵函數舉例

分佈	特徵函數 ${\displaystyle \varphi (t)}$
退化分佈 ${\displaystyle \delta _{a}}$	${\displaystyle e^{ita}}$
伯努利分佈 ${\displaystyle \mathrm {Bern} (p)}$	${\displaystyle 1-p+pe^{it}}$
二項分佈 ${\displaystyle B(n,p)}$	${\displaystyle (1-p+pe^{it})^{n}}$
負二項分佈 ${\displaystyle NB(r,p)}$	${\displaystyle {\biggl (}{\frac {1-p}{1-pe^{i\,t}}}{\biggr )}^{\!r}}$
泊松分佈 ${\displaystyle \mathrm {Pois} (\lambda )}$	${\displaystyle e^{\lambda (e^{it}-1)}}$
連續均勻分佈 ${\displaystyle U(a,b)}$	${\displaystyle {\frac {e^{itb}-e^{ita}}{it(b-a)}}}$
拉普拉斯分佈 ${\displaystyle L(\mu ,b)}$	${\displaystyle {\frac {e^{it\mu }}{1+b^{2}t^{2}}}}$
正態分佈 ${\displaystyle N(\mu ,\sigma ^{2})}$	${\displaystyle e^{it\mu -{\frac {1}{2}}\sigma ^{2}t^{2}}}$
卡方分佈 ${\displaystyle \chi _{k}^{2}}$k	${\displaystyle (1-2it)^{-{\frac {k}{2}}}}$
柯西分佈 ${\displaystyle C(\mu ,\theta )}$	${\displaystyle e^{it\mu -\theta |t|}}$
伽瑪分佈 ${\displaystyle \Gamma (k,\theta )}$	${\displaystyle (1-it\theta )^{-k}}$
指數分佈 ${\displaystyle \mathrm {Exp} (\lambda )}$	${\displaystyle (1-it\lambda ^{-1})^{-1}}$
多元正態分佈 ${\displaystyle N(\mu ,\Sigma )}$	${\displaystyle e^{it^{T}\mu -{\frac {1}{2}}t^{T}\Sigma t}}$
多元柯西分佈 ${\displaystyle \mathrm {MultiCauchy} (\mu ,\Sigma )}$ [2]	${\displaystyle e^{it^{T}\mu -{\sqrt {t^{T}\Sigma t}}}}$

Oberhettinger (1973) 提供的特徵函數表.

特徵函數的應用

由於連續定理，特徵函數被用於中心極限定理的最常見的證明中。

矩

特徵函數還可以用來求出某個隨機變量的矩。只要第n個矩存在，特徵函數就可以微分n次，得到：

${\displaystyle \operatorname {E} \left(X^{n}\right)=i^{-n}\,\varphi _{X}^{(n)}(0)=i^{-n}\,\left[{\frac {d^{n}}{dt^{n}}}\varphi _{X}(t)\right]_{t=0}.\,\!}$

例如，假設${\displaystyle X}$具有標準柯西分佈。那麼${\displaystyle \varphi _{X}(t)=e^{-|t|}}$。它在${\displaystyle t=0}$處不可微，說明柯西分佈沒有期望值。另外，注意到${\displaystyle n}$個獨立的觀測的樣本平均值${\displaystyle {\overline {X}}}$具有特徵函數${\displaystyle \varphi _{\overline {X}}(t)=(e^{-{\frac {\left\vert t\right\vert }{n}}})^{n}=e^{-|t|}}$，利用前一節的結果。這就是標準柯西分佈的特徵函數；因此，樣本平均值與總體本身具有相同的分佈。

特徵函數的對數是一個累積量母函數，它對於求出累積量是十分有用的；注意有時定義累積量母函數為矩母函數的對數，而把特徵函數的對數稱為第二累積量母函數。

一個例子

具有尺度參數${\displaystyle \theta }$和形狀參數k的伽瑪分佈的特徵函數為：

${\displaystyle (1-\theta \,i\,t)^{-k}}$。

現在假設我們有：

${\displaystyle \ X\sim \Gamma (k_{1},\theta )}$且${\displaystyle \ Y\sim \Gamma (k_{2},\theta )}$

其中${\displaystyle X}$和${\displaystyle Y}$相互獨立，我們想要知道${\displaystyle X+Y}$的分佈是什麼。${\displaystyle X}$和${\displaystyle Y}$特徵函數分別為：

${\displaystyle \varphi _{X}(t)=(1-\theta \,i\,t)^{-k_{1}},\,\qquad \varphi _{Y}(t)=(1-\theta \,i\,t)^{-k_{2}}}$

根據獨立性和特徵函數的基本性質，可得：

${\displaystyle \varphi _{X+Y}(t)=\varphi _{X}(t)\varphi _{Y}(t)=(1-\theta \,i\,t)^{-k_{1}}(1-\theta \,i\,t)^{-k_{2}}=\left(1-\theta \,i\,t\right)^{-(k_{1}+k_{2})}}$。

這就是尺度參數為${\displaystyle \theta }$、形狀參數為${\displaystyle k_{1}+k_{2}}$的伽瑪分佈的特徵函數，因此我們得出結論：

${\displaystyle X+Y\sim \Gamma (k_{1}+k_{2},\theta )}$，

這個結果可以推廣到${\displaystyle n}$個獨立、具有相同尺度參數的伽瑪隨機變量：

${\displaystyle \forall i\in \{1,\ldots ,n\}:X_{i}\sim \Gamma (k_{i},\theta )\qquad \Rightarrow \qquad \sum _{i=1}^{n}X_{i}\sim \Gamma \left(\sum _{i=1}^{n}k_{i},\theta \right)}$。

多元特徵函數

如果${\displaystyle X}$是一個多元隨機變量，那麼它的特徵函數定義為：

${\displaystyle \varphi _{X}(t)=\operatorname {E} \left(e^{it\cdot X}\right)}$。

這裏的點表示向量的點積，而向量${\displaystyle t}$位於${\displaystyle X}$的對偶空間內。用更加常見的矩陣表示法，就是：

${\displaystyle \varphi _{X}(t)=\operatorname {E} \left(e^{it^{T}X}\right)}$。

例子

如果${\displaystyle X\sim N(0,\Sigma )\,}$是一個平均值為零的多元高斯隨機變量，那麼：

${\displaystyle \varphi _{X}(t)=\operatorname {E} \left(e^{it^{T}X}\right)=\int _{x\in \mathbf {R} ^{n}}{\frac {1}{\left(2\pi \right)^{n/2}\left|\Sigma \right|^{1/2}}}\,e^{-{\frac {1}{2}}x^{T}\Sigma ^{-1}x}\cdot e^{it^{T}x}\,dx=e^{-{\frac {1}{2}}t^{T}\Sigma t},\quad t\in \mathbf {R} ^{n},}$

其中${\displaystyle |\Sigma |}$表示正定矩陣 Σ的行列式。

矩陣值隨機變量

如果${\displaystyle X}$是一個矩陣值隨機變量，那麼它的特徵函數為：

${\displaystyle \varphi _{X}(T)=\operatorname {E} \left(e^{i\,\mathrm {Tr} (XT)}\right)}$

在這裏，${\displaystyle \mathrm {Tr} (\cdot )}$是跡函數，${\displaystyle \ XT}$表示${\displaystyle T}$與${\displaystyle X}$的矩陣乘積。由於矩陣XT一定有跡，因此矩陣X必須與矩陣T的轉置的大小相同；因此，如果X是m × n矩陣，那麼T必須是n × m矩陣。

注意乘法的順序不重要（${\displaystyle XT\neq TX}$但${\displaystyle \ tr(XT)=tr(TX)}$）。

矩陣值隨機變量的例子包括威沙特分佈和矩陣正態分佈。

相關概念

相關概念有矩母函數和概率母函數。特徵函數對於所有概率分佈都存在，但矩母函數不是這樣。

特徵函數與傅立葉變換有密切的關係：一個概率密度函數${\displaystyle p(x)}$的特徵函數是${\displaystyle p(x)}$的連續傅立葉變換的共軛複數（按照通常的慣例）。

${\displaystyle \varphi _{X}(t)=\langle e^{itX}\rangle =\int _{-\infty }^{\infty }e^{itx}p(x)\,dx={\overline {\left(\int _{-\infty }^{\infty }e^{-itx}p(x)\,dx\right)}}={\overline {P(t)}},}$

其中${\displaystyle P(t)}$表示概率密度函數${\displaystyle p(x)}$的連續傅立葉變換。類似地，從${\displaystyle \varphi _{X}(t)}$可以通過傅立葉逆變換求出${\displaystyle p(x)}$：

${\displaystyle p(x)={\frac {1}{2\pi }}\int _{-\infty }^{\infty }e^{itx}P(t)\,dt={\frac {1}{2\pi }}\int _{-\infty }^{\infty }e^{itx}{\overline {\varphi _{X}(t)}}\,dt}$。

確實，即使當隨機變量沒有密度時，特徵函數仍然可以視為對應於該隨機變量的測度的傅立葉變換。

參考文獻

1. P. Levy, Calcul des probabilités, Gauthier-Villars, Paris, 1925. p. 166
2. Kotz et al. p. 37 using 1 as the number of degree of freedom to recover the Cauchy distribution

• Lukacs E. (1970) Characteristic Functions. Griffin, London. pp. 350
• Bisgaard, T. M., Sasvári, Z. (2000) Characteristic Functions and Moment Sequences, Nova Science