自信息

在信息論中，自信息（英語：self-information），由克勞德·夏農提出。自信息指的是當我們接收到一個消息時所獲得的信息量。具體來說，對於一個事件，其自信息的大小與該事件發生的概率有關， 它是與概率空間中的單一事件或離散隨機變量的值相關的資訊量的量度。它用信息的單位表示，例如 bit、nat或是hart，使用哪個單位取決於在計算中使用的對數的底。自信息的期望值就是信息論中的熵，它反映了隨機變量採樣時的平均不確定程度。

定義

由定義，當信息被擁有它的實體傳遞給接收它的實體時，僅當接收實體不知道信息的先驗知識時信息才得到傳遞。如果接收實體事先知道了消息的內容，這條消息所傳遞的信息量就是0。只有當接收實體對消息的先驗知識少於100%時，消息才真正傳遞信息。

因此，一個隨機產生的事件${\displaystyle \omega _{n}}$所包含的資訊本體數量，只與事件發生的機率相關。事件發生的機率越低，在事件真的發生時，接收到的資訊中，包含的資訊本體越大。

${\displaystyle \omega _{n}}$的自信息量 ${\displaystyle \operatorname {I} (\omega _{n})=f(\operatorname {P} (\omega _{n}))}$

如果 ${\displaystyle \operatorname {P} (\omega _{n})=1}$，那麼 ${\displaystyle \operatorname {I} (\omega _{n})=0}$。如果 ${\displaystyle \operatorname {P} (\omega _{n})<1}$，那麼 ${\displaystyle \operatorname {I} (\omega _{n})>0}$。

此外，根據定義，自信息的量度是非負的而且是可加的。如果事件 ${\displaystyle C}$是兩個獨立事件 ${\displaystyle A}$和 ${\displaystyle B}$的交集，那麼宣告 ${\displaystyle C}$發生的信息量就等於分別宣告事件 ${\displaystyle A}$和事件 ${\displaystyle B}$的信息量的和：

${\displaystyle \operatorname {I} (C)=\operatorname {I} (A\cap B)=\operatorname {I} (A)+\operatorname {I} (B)}$

因為 ${\displaystyle A}$和 ${\displaystyle B}$是獨立事件，所以 ${\displaystyle C}$的概率為

${\displaystyle \operatorname {P} (C)=\operatorname {P} (A\cap B)=\operatorname {P} (A)\cdot \operatorname {P} (B)}$

應用函數 ${\displaystyle f(\cdot )}$會得到

${\displaystyle {\begin{aligned}\operatorname {I} (C)&=\operatorname {I} (A)+\operatorname {I} (B)\\f(\operatorname {P} (C))&=f(\operatorname {P} (A))+f(\operatorname {P} (B))\\&=f{\big (}\operatorname {P} (A)\cdot \operatorname {P} (B){\big )}\\\end{aligned}}}$

所以函數 ${\displaystyle f(\cdot )}$有性質

${\displaystyle f(x\cdot y)=f(x)+f(y)}$

而對數函數正好有這個性質，不同的底的對數函數之間的區別只差一個常數

${\displaystyle f(x)=K\log(x)}$

由於事件的概率總是在0和1之間，而信息量必須是非負的，所以 ${\displaystyle K<0}$

考慮到這些性質，假設事件${\displaystyle \omega _{n}}$發生的機率是 ${\displaystyle P(\omega _{n})}$，資訊本體 ${\displaystyle I(\omega _{n})}$ 的定義就是:

${\displaystyle \operatorname {I} (\omega _{n})=-\log(\operatorname {P} (\omega _{n}))=\log \left({\frac {1}{\operatorname {P} (\omega _{n})}}\right)}$

事件 ${\displaystyle \omega _{n}}$的概率越小, 它發生後的自信息量越大。

此定義符合上述條件。在上面的定義中，沒有指定的對數的基底：如果以 2 為底，單位是bit。當使用以 e 為底的對數時，單位將是 nat。對於基底為 10 的對數，單位是 hart。

信息量的大小不同於信息作用的大小，這不是同一概念。信息量只表明不確定性的減少程度，至於對接收者來說，所獲得的信息可能事關重大，也可能無足輕重，這是信息作用的大小。

和熵的聯繫

熵是離散隨機變量的自信息的期望值。但有時候熵也會被稱作是隨機變量的自信息，可能是因為熵滿足 ${\displaystyle \operatorname {H} (X)=\operatorname {I} (X;X)}$，而 ${\displaystyle \operatorname {I} (X;X)}$是 ${\displaystyle X}$與它自己的互信息。