聯合熵

聯合熵是一集變量之間不確定性的衡量手段。

獨立的(H(X),H(Y)), 聯合的(H(X,Y)), 以及一對帶有互信息 I(X; Y) 的相互關聯的子系統 X,Y 的條件熵。

定義

兩個變量${\displaystyle X}$ 和 ${\displaystyle Y}$ 的聯合信息熵定義為：

${\displaystyle \mathrm {H} (X,Y)=-\sum _{x}\sum _{y}P(x,y)\log _{2}[P(x,y)]\!}$

其中 ${\displaystyle x}$ 和 ${\displaystyle y}$ 是 ${\displaystyle X}$ 和 ${\displaystyle Y}$的特定值, 相應地, ${\displaystyle P(x,y)}$ 是這些值一起出現的聯合概率, 若${\displaystyle P(x,y)=0}$ ，則${\displaystyle P(x,y)\log _{2}[P(x,y)]}$ 定義為0。

對於兩個以上的變量 ${\displaystyle X_{1},...,X_{n}}$ ，該式的一般形式為：

${\displaystyle \mathrm {H} (X_{1},...,X_{n})=-\sum _{x_{1}}...\sum _{x_{n}}P(x_{1},...,x_{n})\log _{2}[P(x_{1},...,x_{n})]\!}$

其中 ${\displaystyle x_{1},...,x_{n}}$ 是 ${\displaystyle X_{1},...,X_{n}}$ 的特定值，相應地，${\displaystyle P(x_{1},...,x_{n})}$ 是這些變量同時出現的概率，若${\displaystyle P(x_{1},...,x_{n})=0}$，則 ${\displaystyle P(x_{1},...,x_{n})\log _{2}[P(x_{1},...,x_{n})]}$ 被定義為0.

性質

大於每個獨立的熵

一集變量的聯合熵大於或等於這集變量中任一個的獨立熵。

${\displaystyle \mathrm {H} (X,Y)\geq \max[\mathrm {H} (X),\mathrm {H} (Y)]}$

${\displaystyle \mathrm {H} (X_{1},...,X_{n})\geq \max[H(X_{1}),...,H(X_{n})]}$

少於或等於獨立熵的和

一集變量的聯合熵少於或等於這集變量的獨立熵之和。這是次可加性的一個例子。該不等式有且只有在${\displaystyle X}$和${\displaystyle Y}$均為統計獨立的時候相等。

${\displaystyle \mathrm {H} (X,Y)\leq \mathrm {H} (X)+\mathrm {H} (Y)}$

${\displaystyle \mathrm {H} (X_{1},...,X_{n})\leq \mathrm {H} (X_{1})+...+\mathrm {H} (X_{n})}$

與其他熵測量手段的關係

在條件熵的定義中，使用了聯合熵

${\displaystyle \mathrm {H} (X|Y)=\mathrm {H} (X,Y)-\mathrm {H} (Y)\,}$

互信息的定義中也出現了聯合熵的身影：

${\displaystyle I(X;Y)=\mathrm {H} (X)+\mathrm {H} (Y)-\mathrm {H} (X,Y)\,}$

在量子信息理論中， 聯合熵被擴展到聯合量子熵（英語：joint quantum entropy）。