歸一化常數

歸一化常數（英語：Normalizing constant）的概念主要來自於數學上的機率論及其他分支。

定義

根據機率論中的描述及定義，一個歸一化常數是對於任何非負函數的任意區間所含有之常數使得該函數對於一特定區間之積分恰好等於1。通常加入該常數之目的為將該函數轉變為一機率密度函數或機率質量函數。^[1][2]

範例

舉個例子，如果假定

${\displaystyle p(x)=e^{-x^{2}/2},x\in (-\infty ,\infty )}$

可以推得

${\displaystyle \int _{-\infty }^{\infty }p(x)\,dx=\int _{-\infty }^{\infty }e^{-x^{2}/2}\,dx={\sqrt {2\pi \,}},}$

如果我們假定函數 ${\displaystyle \varphi (x)}$ 作為

${\displaystyle \varphi (x)={\frac {1}{\sqrt {2\pi \,}}}p(x)={\frac {1}{\sqrt {2\pi \,}}}e^{-x^{2}/2}}$

使得

${\displaystyle \int _{-\infty }^{\infty }\varphi (x)\,dx=\int _{-\infty }^{\infty }{\frac {1}{\sqrt {2\pi \,}}}e^{-x^{2}/2}\,dx=1}$

函數 ${\displaystyle \varphi (x)}$ 即是一機率密度函數，^[3] 也是一個標準的常態分佈^{[註 1]}

而常數 ${\displaystyle {\frac {1}{\sqrt {2\pi \,}}}}$ 就是前面函數 ${\displaystyle p(x)}$ 中所謂的歸一化常數。

第二個例子，對於已知

${\displaystyle \sum _{n=0}^{\infty }{\frac {\lambda ^{n}}{n!}}=e^{\lambda },}$

而相對的

${\displaystyle f(n)={\frac {\lambda ^{n}e^{-\lambda }}{n!}}}$

則是一個對於所有非負整數之集合的機率質量函數。^[4]這就是假定期望值為 λ的泊松分佈之機率質量函數。^{[註 2]}

貝氏定理

貝氏定理說明一個隨機事件的後驗機率正比於先驗機率與相似度的乘積。前言所述之「正比於」表示該定理或方程式亦須一歸一化常數以便進行機率運算。 以另一簡單離散的事件為範例：

${\displaystyle P(H_{0}|D)={\frac {P(D|H_{0})P(H_{0})}{P(D)}}}$

其中 P(H₀) 即是假設 H₀ 為真之機率；(D|H₀)則是在數據樣本下假設為真時的條件機率，然而該數據樣本已知為原假設的似然函數。P(H₀|D)是假設為真下的後驗機率。P(D)應是產生數據樣本的機率，但是其本身有計算上的困難，故我們常用另外一種描述來取代原本的方程式：

${\displaystyle P(H_{0}|D)\propto P(D|H_{0})P(H_{0}).}$

因為P(H|D)是一個機率，它的所有假設為真機率總和應為1。此可推導出一個結論：

${\displaystyle P(H_{0}|D)={\frac {P(D|H_{0})P(H_{0})}{\displaystyle \sum _{i}P(D|H_{i})P(H_{i})}}.}$

因此，

${\displaystyle P(D)=\sum _{i}P(D|H_{i})P(H_{i})\;}$

即是歸一化常數^[5]。這可以被推導至非常多的假設領域並將原本不可計算之機率成另一種以 &Sigma表現之形式。

注釋

1. 期望值等於0，變異數等於1
2. 如果一些機率密度函數擁有多個參數，它的歸一化常數求法也是相同的。其中非常著名的波茲曼分布函數中的參數化歸一化常數在統計力學中有非常重要的地位。在統計力學中，這個常數被稱為配分函數

參考資料

1. Continuous Distributions at University of Alabama.
2. Feller, 1968, p. 22.
3. Feller, 1968, p. 174.
4. Feller, 1968, p. 156.
5. Feller, 1968, p. 124.

參考來源

• Continuous Distributions （頁面存檔備份，存於網際網路檔案館） at Department of Mathematical Sciences: University of Alabama in Huntsville
• Feller, William. An Introduction to Probability Theory and its Applications (volume I). John Wiley & Sons. 1968. ISBN 0-471-25708-7.