估計量

在統計學中，估計量（Estimator），亦稱推定量，是基於觀測數據計算一個已知量的估計值的法則：於是估計量（estimator）、被估量（estimand）和估計值（estimate）是有區別的。

估計量用來估計未知母體的母數，它有時也被稱為估計子；一次估計是指把這個函數應用在一組已知的數據集上，求函數的結果。對於給定的母數，可以有許多不同的估計量。我們通過一些選擇標準從它們中選出較好的估計量，但是有時候很難說選擇這一個估計量比另外一個好。

定義

假設存在一個固定的待估母數${\displaystyle \theta }$。那麼"估計量"是樣本空間映射到樣本估計值的一個函數。${\displaystyle \theta }$的一個估計量記為${\displaystyle {\widehat {\theta }}}$。

易用隨機變數的代數來闡述這個理論：如果用X來標記對應觀測數據的隨機變數，估計量（本身視為隨機變數）的符號表示為該隨機變數的函數，${\displaystyle {\widehat {\theta }}(X)}$。對特定觀測數據集（即對於X=x）而言，其估計值為一固定值${\displaystyle {\widehat {\theta }}(x)}$。通常使用簡化標記${\displaystyle {\widehat {\theta }}}$表示隨機變數，但這容易造成誤解。

量化特性

以下定義和屬性是相關的。^[1]

誤差

對於一個給定樣本${\displaystyle x}$，估計量${\displaystyle {\widehat {\theta }}}$的「誤差」定義為

${\displaystyle e(x)={\widehat {\theta }}(x)-\theta ,}$

其中${\displaystyle \theta }$是待估母數。注意誤差e不僅取決於估計量（估計公式或過程），還取決於樣本。

均方誤差

估計量${\displaystyle {\hat {\theta }}}$的均方誤差被定義為誤差的平方的期望值，即為：

${\displaystyle MSE({\hat {\theta }})=E[({\hat {\theta }}(x)-\theta )^{2}]}$

它用來顯示估計值的集合與被估計單個母數的平均差異。試想下面的類比：假設「母數」是靶子的靶心，「估計量」是向靶子射箭的過程，而每一支箭則是「估計值」（樣本）。那麼，高均方誤差就意味著每一支箭離靶心的平均距離較大，低均方誤差則意味著每一支箭離靶心的平均距離較小。箭支可能集聚，也可能不。比如說，即使所有箭支都射中了同一個點，同時卻嚴重偏離了靶子，均方誤差相對來說依然很大。然而要注意的是，如果均方誤差相對較小，箭支則更有可能集聚（而不是離散）。

抽樣偏差

變異數

偏差

${\displaystyle bias({\hat {\theta }}(x))=E[{\hat {\theta }}(x)]-{\theta }}$

行為特性

一致性

一致估計量序列是一列隨著序號（通常是樣本容量）無限增大時依機率收斂於被估量的估計量序列。換句話說，增加樣本容量增大了估計量接近母體母數的機率。

在數學上，一個估計量序列{t_n; n ≥ 0}是母數θ的一致估計量若且唯若對於所有ϵ > 0，不管多小，我們都有

${\displaystyle \lim _{n\to \infty }\Pr \left\{\left|t_{n}-\theta \right|<\epsilon \right\}=1.}$

就如，一個人不斷地拋硬幣，隨著次數的增多，任何一面出現的機率（機率）就會趨於0.5。那麼這個0.5就是這個拋硬幣事件中任何一面出現機率的一致估計量，或者說一致估計值。

參見

• 點估計
• 估計量的偏誤
• 最大概似估計
• 動差法、廣義動差法
• 最小均方誤差法（MMSE）
• 最小變異數不偏估計式（MVUE）
• 最佳線性不偏估計（BLUE）
• 卡爾曼濾波
• 維納濾波

外部連結

• 關於統計函數的課程

1. Jaynes (2007), p.172.