费希尔信息

数理统计学中，费希尔信息（英语：Fisher Information；有时称作 information^[1]），或称费希尔讯息数，通常记作${\displaystyle {\mathcal {I}}_{X}(\theta )}$，是衡量观测所得的随机变量${\displaystyle X}$携带的关于未知参数${\displaystyle \theta }$的讯息量，其中${\displaystyle X}$的概率分布依赖于参数${\displaystyle \theta }$。费希尔信息由统计学家罗纳德·费希尔在弗朗西斯·伊西德罗·埃奇沃思工作的基础上提出，现常用于最大似然估计和贝叶斯统计学中。

定义

随机变量${\displaystyle X}$的费希尔讯息定义为

${\displaystyle {\mathcal {I}}(\theta )=\operatorname {E} \left[\left.\left({\frac {\partial {\mathcal {L}}}{\partial \theta }}\right)^{2}\right|\theta \right]=-\operatorname {E} \left[\left.{\frac {\partial ^{2}{\mathcal {L}}}{\partial \theta ^{2}}}\right|\theta \right]}$

其中${\displaystyle {\mathcal {L}}(X;\theta )}$是${\displaystyle X}$关于参数${\displaystyle \theta }$的对数似然函数，当${\displaystyle X}$的概率密度函数${\displaystyle f(X;\theta )}$已知时

${\displaystyle {\mathcal {L}}(X;\theta )=\ln f(X;\theta )}$

注释

1. Lehmann & Casella, p. 115