特征函数 (概率论)

在概率论中，任何随机变量的特征函数（缩写：ch.f，复数形式：ch.f's）完全定义了它的概率分布。在实直线上，它由以下公式给出，其中${\displaystyle X}$是任何具有该分布的随机变量：

${\displaystyle \varphi _{X}(t)=\operatorname {E} \left(e^{itX}\right)}$，

The characteristic function of a uniform U(–1,1) random variable. This function is real-valued because it corresponds to a random variable that is symmetric around the origin; however characteristic functions may generally be complex-valued.

其中${\displaystyle t}$是一个实数，${\displaystyle i}$是虚数单位，${\displaystyle E}$表示期望值。

用矩母函数${\displaystyle M_{X}(t)}$来表示（如果它存在），特征函数就是${\displaystyle iX}$的矩母函数，或${\displaystyle X}$在虚数轴上求得的矩母函数。

${\displaystyle \varphi _{X}(t)=M_{iX}(t)=M_{X}(it)}$

与矩母函数不同，特征函数总是存在。

如果${\displaystyle F_{X}}$是累积分布函数，那么特征函数由黎曼－斯蒂尔杰斯积分给出：

${\displaystyle \operatorname {E} \left(e^{itX}\right)=\int _{-\infty }^{\infty }e^{itx}\,dF_{X}(x)}$。

在概率密度函数${\displaystyle f_{X}}$存在的情况下，该公式就变为：

${\displaystyle \operatorname {E} \left(e^{itX}\right)=\int _{-\infty }^{\infty }e^{itx}f_{X}(x)\,dx}$。

如果${\displaystyle X}$是一个向量值随机变量，我们便取自变量${\displaystyle t}$为向量，${\displaystyle tX}$为数量积。

${\displaystyle R}$或${\displaystyle R^{n}}$上的每一个概率分布都有特征函数，因为我们是在有限测度的空间上对一个有界函数进行积分，且对于每一个特征函数都正好有一个概率分布。

一个对称概率密度函数的特征函数（也就是满足${\displaystyle f_{X}(x)=f_{X}(-x)}$）是实数，因为从${\displaystyle x>0}$所获得的虚数部分与从${\displaystyle x<0}$所获得的相互抵消。

性質

连续性

主条目：勒维连续定理

勒维连续定理说明，假设${\displaystyle (X_{n})_{n=1}^{\infty }}$为一个随机变量序列，其中每一个${\displaystyle X_{n}}$都有特征函数${\displaystyle \varphi _{n}}$，那么它依分布收敛于某个随机变量${\displaystyle X}$：

${\displaystyle X_{n}{\xrightarrow {\mathcal {D}}}X}$当${\displaystyle n\to \infty }$

如果

${\displaystyle \varphi _{n}\quad {\xrightarrow {\textrm {pointwise}}}\quad \varphi }$当${\displaystyle n\to \infty }$

且${\displaystyle \varphi (t)}$在${\displaystyle \ t=0}$处连续，${\displaystyle \varphi }$是${\displaystyle X}$的特征函数。

勒维连续定理可以用来证明弱大数定律。

反演定理

在累积概率分布函数与特征函数之间存在双射。也就是说，两个不同的概率分布不能有相同的特征函数。

给定一个特征函数φ，可以用以下公式求得对应的累积概率分布函数${\displaystyle F}$：

${\displaystyle F_{X}(y)-F_{X}(x)=\lim _{\tau \to +\infty }{\frac {1}{2\pi }}\int _{-\tau }^{+\tau }{\frac {e^{-itx}-e^{-ity}}{it}}\,\varphi _{X}(t)\,dt}$。

一般地，这是一个广义积分；被积分的函数可能只是条件可积而不是勒贝格可积的，也就是说，它的绝对值的积分可能是无穷大。^[1]

博赫纳-辛钦定理/公理化定義

主条目：博赫纳定理

任意一个函数${\displaystyle \varphi }$是对应于某个概率律${\displaystyle \mu }$的特征函数，当且仅当满足以下三个条件：

1. ${\displaystyle \varphi \,}$是连续的；
2. ${\displaystyle \varphi (0)=1\,}$；
3. ${\displaystyle \varphi \,}$是一个正定函数（注意这是一个复杂的条件，与${\displaystyle \varphi >0}$不等价）。

計算性质

特征函数对于处理独立随机变量的函数特别有用。例如，如果${\displaystyle X_{1}}$、${\displaystyle X_{2}}$、……、${\displaystyle X_{n}}$是一个独立（不一定同分布）的随机变量的序列，且

${\displaystyle S_{n}=\sum _{i=1}^{n}a_{i}X_{i},\,\!}$

其中${\displaystyle a_{i}}$是常数，那么${\displaystyle S_{n}}$的特征函数为：

${\displaystyle \varphi _{S_{n}}(t)=\varphi _{X_{1}}(a_{1}t)\varphi _{X_{2}}(a_{2}t)\cdots \varphi _{X_{n}}(a_{n}t).\,\!}$

特别地，${\displaystyle \varphi _{X+Y}(t)=\varphi _{X}(t)\varphi _{Y}(t)}$。这是因为：

${\displaystyle \varphi _{X+Y}(t)=E\left(e^{it(X+Y)}\right)=E\left(e^{itX}e^{itY}\right)=E\left(e^{itX}\right)E\left(e^{itY}\right)=\varphi _{X}(t)\varphi _{Y}(t)}$。

注意我们需要${\displaystyle X}$和${\displaystyle Y}$的独立性来确立第三和第四个表达式的相等性。

另外一个特殊情况，是${\displaystyle a_{i}={\frac {1}{n}}}$且${\displaystyle S_{n}}$为样本平均值。在这个情况下，用${\displaystyle {\overline {X}}}$表示平均值，我们便有：

${\displaystyle \varphi _{\overline {X}}(t)=\left(\varphi _{X}\left({\frac {t}{n}}\right)\right)^{n}}$。

特征函数举例

分布	特征函数 ${\displaystyle \varphi (t)}$
退化分布 ${\displaystyle \delta _{a}}$	${\displaystyle e^{ita}}$
伯努利分布 ${\displaystyle \mathrm {Bern} (p)}$	${\displaystyle 1-p+pe^{it}}$
二项分布 ${\displaystyle B(n,p)}$	${\displaystyle (1-p+pe^{it})^{n}}$
负二项分布 ${\displaystyle NB(r,p)}$	${\displaystyle {\biggl (}{\frac {1-p}{1-pe^{i\,t}}}{\biggr )}^{\!r}}$
泊松分布 ${\displaystyle \mathrm {Pois} (\lambda )}$	${\displaystyle e^{\lambda (e^{it}-1)}}$
连续均匀分布 ${\displaystyle U(a,b)}$	${\displaystyle {\frac {e^{itb}-e^{ita}}{it(b-a)}}}$
拉普拉斯分布 ${\displaystyle L(\mu ,b)}$	${\displaystyle {\frac {e^{it\mu }}{1+b^{2}t^{2}}}}$
正态分布 ${\displaystyle N(\mu ,\sigma ^{2})}$	${\displaystyle e^{it\mu -{\frac {1}{2}}\sigma ^{2}t^{2}}}$
卡方分布 ${\displaystyle \chi _{k}^{2}}$k	${\displaystyle (1-2it)^{-{\frac {k}{2}}}}$
柯西分布 ${\displaystyle C(\mu ,\theta )}$	${\displaystyle e^{it\mu -\theta |t|}}$
伽玛分布 ${\displaystyle \Gamma (k,\theta )}$	${\displaystyle (1-it\theta )^{-k}}$
指数分布 ${\displaystyle \mathrm {Exp} (\lambda )}$	${\displaystyle (1-it\lambda ^{-1})^{-1}}$
多元正态分布 ${\displaystyle N(\mu ,\Sigma )}$	${\displaystyle e^{it^{T}\mu -{\frac {1}{2}}t^{T}\Sigma t}}$
多元柯西分布 ${\displaystyle \mathrm {MultiCauchy} (\mu ,\Sigma )}$ [2]	${\displaystyle e^{it^{T}\mu -{\sqrt {t^{T}\Sigma t}}}}$

Oberhettinger (1973) 提供的特征函数表.

特征函数的应用

由于连续定理，特征函数被用于中心极限定理的最常见的证明中。

矩

特征函数还可以用来求出某个随机变量的矩。只要第n个矩存在，特征函数就可以微分n次，得到：

${\displaystyle \operatorname {E} \left(X^{n}\right)=i^{-n}\,\varphi _{X}^{(n)}(0)=i^{-n}\,\left[{\frac {d^{n}}{dt^{n}}}\varphi _{X}(t)\right]_{t=0}.\,\!}$

例如，假设${\displaystyle X}$具有标准柯西分布。那么${\displaystyle \varphi _{X}(t)=e^{-|t|}}$。它在${\displaystyle t=0}$处不可微，说明柯西分布没有期望值。另外，注意到${\displaystyle n}$个独立的观测的样本平均值${\displaystyle {\overline {X}}}$具有特征函数${\displaystyle \varphi _{\overline {X}}(t)=(e^{-{\frac {\left\vert t\right\vert }{n}}})^{n}=e^{-|t|}}$，利用前一节的结果。这就是标准柯西分布的特征函数；因此，样本平均值与总体本身具有相同的分布。

特征函数的对数是一个累积量母函数，它对于求出累积量是十分有用的；注意有时定义累积量母函数为矩母函数的对数，而把特征函数的对数称为第二累积量母函数。

一个例子

具有尺度参数${\displaystyle \theta }$和形状参数k的伽玛分布的特征函数为：

${\displaystyle (1-\theta \,i\,t)^{-k}}$。

现在假设我们有：

${\displaystyle \ X\sim \Gamma (k_{1},\theta )}$且${\displaystyle \ Y\sim \Gamma (k_{2},\theta )}$

其中${\displaystyle X}$和${\displaystyle Y}$相互独立，我们想要知道${\displaystyle X+Y}$的分布是什么。${\displaystyle X}$和${\displaystyle Y}$特征函数分别为：

${\displaystyle \varphi _{X}(t)=(1-\theta \,i\,t)^{-k_{1}},\,\qquad \varphi _{Y}(t)=(1-\theta \,i\,t)^{-k_{2}}}$

根据独立性和特征函数的基本性质，可得：

${\displaystyle \varphi _{X+Y}(t)=\varphi _{X}(t)\varphi _{Y}(t)=(1-\theta \,i\,t)^{-k_{1}}(1-\theta \,i\,t)^{-k_{2}}=\left(1-\theta \,i\,t\right)^{-(k_{1}+k_{2})}}$。

这就是尺度参数为${\displaystyle \theta }$、形状参数为${\displaystyle k_{1}+k_{2}}$的伽玛分布的特征函数，因此我们得出结论：

${\displaystyle X+Y\sim \Gamma (k_{1}+k_{2},\theta )}$，

这个结果可以推广到${\displaystyle n}$个独立、具有相同尺度参数的伽玛随机变量：

${\displaystyle \forall i\in \{1,\ldots ,n\}:X_{i}\sim \Gamma (k_{i},\theta )\qquad \Rightarrow \qquad \sum _{i=1}^{n}X_{i}\sim \Gamma \left(\sum _{i=1}^{n}k_{i},\theta \right)}$。

多元特征函数

如果${\displaystyle X}$是一个多元随机变量，那么它的特征函数定义为：

${\displaystyle \varphi _{X}(t)=\operatorname {E} \left(e^{it\cdot X}\right)}$。

这裡的点表示向量的点积，而向量${\displaystyle t}$位于${\displaystyle X}$的对偶空间内。用更加常见的矩阵表示法，就是：

${\displaystyle \varphi _{X}(t)=\operatorname {E} \left(e^{it^{T}X}\right)}$。

例子

如果${\displaystyle X\sim N(0,\Sigma )\,}$是一个平均值为零的多元高斯随机变量，那么：

${\displaystyle \varphi _{X}(t)=\operatorname {E} \left(e^{it^{T}X}\right)=\int _{x\in \mathbf {R} ^{n}}{\frac {1}{\left(2\pi \right)^{n/2}\left|\Sigma \right|^{1/2}}}\,e^{-{\frac {1}{2}}x^{T}\Sigma ^{-1}x}\cdot e^{it^{T}x}\,dx=e^{-{\frac {1}{2}}t^{T}\Sigma t},\quad t\in \mathbf {R} ^{n},}$

其中${\displaystyle |\Sigma |}$表示正定矩阵 Σ的行列式。

矩阵值随机变量

如果${\displaystyle X}$是一个矩阵值随机变量，那么它的特征函数为：

${\displaystyle \varphi _{X}(T)=\operatorname {E} \left(e^{i\,\mathrm {Tr} (XT)}\right)}$

在这裡，${\displaystyle \mathrm {Tr} (\cdot )}$是迹函数，${\displaystyle \ XT}$表示${\displaystyle T}$与${\displaystyle X}$的矩阵乘积。由于矩阵XT一定有迹，因此矩阵X必须与矩阵T的转置的大小相同；因此，如果X是m × n矩阵，那么T必须是n × m矩阵。

注意乘法的顺序不重要（${\displaystyle XT\neq TX}$但${\displaystyle \ tr(XT)=tr(TX)}$）。

矩阵值随机变量的例子包括威沙特分布和矩阵正态分布。

相关概念

相关概念有矩母函数和概率母函数。特征函数对于所有概率分布都存在，但矩母函数不是这样。

特征函数与傅里叶变换有密切的关系：一个概率密度函数${\displaystyle p(x)}$的特征函数是${\displaystyle p(x)}$的连续傅里叶变换的共轭复数（按照通常的惯例）。

${\displaystyle \varphi _{X}(t)=\langle e^{itX}\rangle =\int _{-\infty }^{\infty }e^{itx}p(x)\,dx={\overline {\left(\int _{-\infty }^{\infty }e^{-itx}p(x)\,dx\right)}}={\overline {P(t)}},}$

其中${\displaystyle P(t)}$表示概率密度函数${\displaystyle p(x)}$的连续傅里叶变换。类似地，从${\displaystyle \varphi _{X}(t)}$可以通过傅里叶逆变换求出${\displaystyle p(x)}$：

${\displaystyle p(x)={\frac {1}{2\pi }}\int _{-\infty }^{\infty }e^{itx}P(t)\,dt={\frac {1}{2\pi }}\int _{-\infty }^{\infty }e^{itx}{\overline {\varphi _{X}(t)}}\,dt}$。

确实，即使当随机变量没有密度时，特征函数仍然可以视为对应于该随机变量的测度的傅里叶变换。

参考文献

1. P. Levy, Calcul des probabilités, Gauthier-Villars, Paris, 1925. p. 166
2. Kotz et al. p. 37 using 1 as the number of degree of freedom to recover the Cauchy distribution

• Lukacs E. (1970) Characteristic Functions. Griffin, London. pp. 350
• Bisgaard, T. M., Sasvári, Z. (2000) Characteristic Functions and Moment Sequences, Nova Science