概似函數

在數理統計學中，似然函數（英語：likelihood function）是一種關於統計模型中的參數的函數，表示模型參數中的似然性（英語：likelihood）。似然函數在統計推論中有重大作用，如在最大似然估計和費雪信息之中的應用等等。文字意義上，「似然性」與「或然性」或「概率」意思相近，都是指某種事件發生的可能性，但是在統計學中，「似然性」和「概率」（或然性）有明確的區分：概率，用於在已知一些參數的情況下，預測接下來在觀測上所得到的結果；似然性，則是用於在已知某些觀測所得到的結果時，對有關事物之性質的參數進行估值，也就是說已觀察到某事件後，對相關母數進行猜測。

「likelihood function」的各地常用名稱
中國大陸	似然函數
臺灣	概似函數

在這種意義上，似然函數可以理解為條件概率的逆反。在已知某個參數B時，事件A會發生的概率寫作：

${\displaystyle P(A\mid B)={\frac {P(A,B)}{P(B)}}\!}$

利用貝氏定理，

${\displaystyle P(B\mid A)={\frac {P(A\mid B)\;P(B)}{P(A)}}\!}$

因此，我們可以反過來構造表示似然性的方法：已知有事件A發生，運用似然函數${\displaystyle \mathbb {L} (B\mid A)}$，我們估計或猜測參數B的不同值的可能性。形式上，似然函數也是一種條件概率函數，但我們關注的變量改變了：

${\displaystyle b\mapsto P(A\mid B=b)\!}$

注意到這裡並不要求似然函數滿足歸一性：${\displaystyle \sum _{b\in {\mathcal {B}}}P(A\mid B=b)=1}$。一個似然函數乘以一個正的常數之後仍然是似然函數。對所有${\displaystyle \alpha >0}$，都可以有似然函數：

${\displaystyle L(b\mid A)=\alpha \;P(A\mid B=b)\!}$

例子

考慮投擲硬幣的實驗。通常來說，已知擲出一枚「公平的硬幣」（即正面朝上和反面朝上的機率相同）時，正面（Head）朝上的概率為${\displaystyle p_{H}=0.5}$，我們可以此推論得知投擲若干次後出現各種結果的可能性。比如說，連續投兩次都是正面朝上的概率是${\displaystyle 0.25}$。用條件概率表示，就是：

${\displaystyle P({\mbox{HH}}\mid p_{H}=0.5)=0.5^{2}=0.25}$

其中${\displaystyle {\mbox{H}}}$表示正面朝上。

在統計學中，我們更關心的是在已知一系列投擲的結果時，關於單獨投擲一次硬幣時正面朝上的機率（即${\displaystyle p_{H}}$）爲何。我們實際上是無法從一系列投擲的結果來逆推真實的${\displaystyle p_{H}}$，但是我們可以推估${\displaystyle p_{H}}$是某個值的可能性爲何。舉例來說，假設因爲這可能不是一枚真正「公平的硬幣」，所以我們不知道${\displaystyle p_{H}}$是多少，也無法計算投擲三次硬幣其中兩次是正面的機率是多少。現在如果我們真的實際去擲了三次硬幣，結果其中兩次爲正面，那我們是否能夠依此次實驗逆推出${\displaystyle p_{H}}$的資訊？如果無法逆推出真實的${\displaystyle p_{H}}$，那我們有沒有辦法知道，譬如說${\displaystyle p_{H}=0.5}$的可能性爲何？${\displaystyle p_{H}=0.6}$的可能性又爲何？或甚至再更退一步，至少我們能不能知道${\displaystyle p_{H}=0.5}$跟${\displaystyle p_{H}=0.6}$哪一個比較有可能？

投擲一次硬幣，正面朝上的機率用${\displaystyle p_{H}}$來代表，它就是我們這個例子的母數，而我們用事件${\displaystyle {\mbox{A}}}$來代表投擲三次硬幣其中兩次是正面這個事實。使用聯合機率（英語：joint probability）計算可知

${\displaystyle P({\mbox{A}}\mid p_{H})=3\times p_{H}^{2}\times (1-p_{H})}$

我們首先假設${\displaystyle p_{H}=0.5}$，則看到三次投擲中兩次是正面的機率爲${\displaystyle P({\mbox{A}}\mid p_{H}=0.5)=0.375}$。再來如果假設${\displaystyle p_{H}=0.6}$，則看到三次投擲中兩次是正面的機率爲${\displaystyle P({\mbox{A}}\mid p_{H}=0.6)=0.432}$。顯然地，如果${\displaystyle p_{H}=0.6}$的話，我們看到兩個正面的機會比較高。所以當我們投擲了三次硬幣並且看到了兩次正面，即使我們無法知道實際${\displaystyle p_{H}}$到底是多少，我們至少知道${\displaystyle p_{H}}$是${\displaystyle 0.6}$的可能性比是${\displaystyle 0.5}$的可能性還要高。我們可以合理猜測，${\displaystyle p_{H}}$比較可能是${\displaystyle 0.6}$而非${\displaystyle 0.5}$。

這裏我們就引進了概似性的概念：概似性代表某個母數爲特定值的可能性。從上面例子得知在已觀察到事件${\displaystyle {\mbox{A}}}$的情況下，關於事件A的似然估計為

${\displaystyle L(p_{H}\mid {\mbox{A}})=P({\mbox{A}}\mid p_{H})}$

其中${\displaystyle p_{H}}$為我們所要確定的參數。所以當我們投擲硬幣三次，其中兩次是正面，則${\displaystyle p_{H}=0.5}$的概似性是${\displaystyle L(p_{H}=0.5\mid {\mbox{A}})=P({\mbox{A}}\mid p_{H}=0.5)=0.375}$，而${\displaystyle p_{H}=0.6}$的概似性是${\displaystyle L(p_{H}=0.6\mid {\mbox{A}})=P({\mbox{A}}\mid p_{H}=0.6)=0.432}$。注意，${\displaystyle L(p_{H}=0.5\mid {\mbox{A}})=0.375}$並不是說當已知${\displaystyle {\mbox{A}}}$發生了，則${\displaystyle p_{H}}$爲${\displaystyle 0.5}$的機率是${\displaystyle 0.375}$。概似性跟機率具有不同的意義。

若單獨看${\displaystyle 0.375}$這個數字或${\displaystyle 0.432}$這個數字是沒有意義的，因爲概似性並不是機率，並不是一定介於${\displaystyle 0}$到${\displaystyle 1}$之間，而所有可能的${\displaystyle p_{H}}$的概似性加起來也不是${\displaystyle 1}$，所以單獨得知${\displaystyle L(p_{H}=0.5\mid {\mbox{A}})=0.375}$是沒有意義的。概似性是用在把各種可能的${\displaystyle p_{H}}$值放在一起比較，來得知哪個${\displaystyle p_{H}}$值的可能性比較高。而概似函數（在這個例子中，即${\displaystyle L(p_{H}\mid {\mbox{A}})=3\times p_{H}^{2}\times (1-p_{H})}$），除了用來計算概似性外，則是用來瞭解當母數${\displaystyle p_{H}}$改變時，概似性怎麼變化，用來尋找最大可能性的${\displaystyle p_{H}}$值會是多少。

圖1. 兩次投擲都正面朝上時的似然函數

圖2. 三次投擲中頭兩次正面朝上，第三次反面朝上時的似然函數

圖1所示爲連續擲兩次硬幣都爲正面的情況下（即此節開頭的事件${\displaystyle {\mbox{HH}}}$），${\displaystyle p_{H}}$從${\displaystyle 0}$到${\displaystyle 1}$的概似性。我們可以看出最大概似性發生在${\displaystyle p_{H}=1}$，所以當我們投擲硬幣兩次，兩次都正面時，我們可以猜說${\displaystyle p_{H}}$最有可能是${\displaystyle 1}$（即使實際上${\displaystyle p_{H}}$也許是${\displaystyle 0.5}$，但我們無法知道這件事)。圖2則爲投擲硬幣三次，其中兩次爲正面、一次爲反面的情況下，${\displaystyle p_{H}}$從${\displaystyle 0}$到${\displaystyle 1}$的概似性。最大概似性發生在${\displaystyle p_{H}={\frac {2}{3}}}$。所以當我們擲了三次硬幣得到兩次正面，最合理的猜測應該是${\displaystyle p_{H}={\frac {2}{3}}}$（同理，也許實際上${\displaystyle p_{H}=0.5}$，但我們無從得知，所以只能做「最合理」猜測）。

我們可以得到一個結論：

      对同一个似然函数，其所代表的模型中，某项参数值具有多种可能，但如果存在一个参数值，使得概似函数值达到最大的话，那么这个值就是该项参数最为“合理”的参数值。

應用

最大似然估計

主條目：最大似然估計

最大似然估計是似然函數最初也是最自然的應用。上文已經提到，似然函數取得最大值表示相應的參數能夠使得統計模型最為合理。從這樣一個想法出發，最大似然估計的做法是：首先選取似然函數（一般是概率密度函數或概率質量函數），整理之後求最大值點。實際應用中一般會取似然函數的對數作為求最大值的函數，這樣求出的最大值點和直接求最大值點得到的結果是相同的。似然函數的最大值點不一定唯一，也不一定存在。與矩法估計比較，最大似然估計的精確度較高，信息損失較少，但計算量較大。

似然比檢驗

主條目：似然比檢驗

似然比檢驗是利用似然函數來檢測某個假設（或限制）是否有效的一種檢驗。一般情況下，要檢測某個附加的參數限制是否是正確的，可以將加入附加限制條件的較複雜模型的似然函數最大值與之前的較簡單模型的似然函數最大值進行比較。如果參數限制是正確的，那麼加入這樣一個參數應當不會造成似然函數最大值的大幅變動。一般使用兩者的比例來進行比較，這個比值是卡方分配。

尼曼-皮爾森引理說明，似然比檢驗是所有具有同等顯著性差異的檢驗中最有統計效力的檢驗。

參考來源

• Stephen Stigler. Francis Ysidro Edgeworth（英語：Francis Ysidro Edgeworth）, Statistician. Journal of the Royal Statistical Society. Series A (General). 1978, 141 (3): 287–322. JSTOR 2344804.（頁面存檔備份，存於網際網路檔案館）
• Stephen Stigler. The History of Statistics: The Measurement of Uncertainty before 1900. Harvard University Press. 1986. ISBN 0-674-40340-1.
• Stephen Stigler. Statistics on the Table: The History of Statistical Concepts and Methods. Harvard University Press. 1999. ISBN 0-674-83601-4.
• Anders Hald. On the History of Maximum Likelihood in Relation to Inverse Probability and Least Squares. Statistical Science. 1999-05, 14 (2): 214–222 [2023-01-18]. JSTOR 2676741. （原始內容存檔於2016-03-05）.
• Hald, A. A History of Mathematical Statistics from 1750 to 1930. New York: Wiley. 1998.