联合熵

联合熵是一集变量之间不确定性的衡量手段。

独立的(H(X),H(Y)), 联合的(H(X,Y)), 以及一对带有互信息 I(X; Y) 的相互关联的子系统 X,Y 的条件熵。

定义

两个变量${\displaystyle X}$ 和 ${\displaystyle Y}$ 的联合信息熵定义为：

${\displaystyle \mathrm {H} (X,Y)=-\sum _{x}\sum _{y}P(x,y)\log _{2}[P(x,y)]\!}$

其中 ${\displaystyle x}$ 和 ${\displaystyle y}$ 是 ${\displaystyle X}$ 和 ${\displaystyle Y}$的特定值, 相应地, ${\displaystyle P(x,y)}$ 是这些值一起出现的联合概率, 若${\displaystyle P(x,y)=0}$ ，则${\displaystyle P(x,y)\log _{2}[P(x,y)]}$ 定义为0。

对于两个以上的变量 ${\displaystyle X_{1},...,X_{n}}$ ，该式的一般形式为：

${\displaystyle \mathrm {H} (X_{1},...,X_{n})=-\sum _{x_{1}}...\sum _{x_{n}}P(x_{1},...,x_{n})\log _{2}[P(x_{1},...,x_{n})]\!}$

其中 ${\displaystyle x_{1},...,x_{n}}$ 是 ${\displaystyle X_{1},...,X_{n}}$ 的特定值，相应地，${\displaystyle P(x_{1},...,x_{n})}$ 是这些变量同时出现的概率，若${\displaystyle P(x_{1},...,x_{n})=0}$，则 ${\displaystyle P(x_{1},...,x_{n})\log _{2}[P(x_{1},...,x_{n})]}$ 被定义为0.

性質

大于每个独立的熵

一集变量的联合熵大于或等于这集变量中任一个的独立熵。

${\displaystyle \mathrm {H} (X,Y)\geq \max[\mathrm {H} (X),\mathrm {H} (Y)]}$

${\displaystyle \mathrm {H} (X_{1},...,X_{n})\geq \max[H(X_{1}),...,H(X_{n})]}$

少于或等于独立熵的和

一集变量的联合熵少于或等于这集变量的独立熵之和。这是次可加性的一个例子。该不等式有且只有在${\displaystyle X}$和${\displaystyle Y}$均为统计独立的时候相等。

${\displaystyle \mathrm {H} (X,Y)\leq \mathrm {H} (X)+\mathrm {H} (Y)}$

${\displaystyle \mathrm {H} (X_{1},...,X_{n})\leq \mathrm {H} (X_{1})+...+\mathrm {H} (X_{n})}$

与其他熵测量手段的关系

在条件熵的定义中，使用了联合熵

${\displaystyle \mathrm {H} (X|Y)=\mathrm {H} (X,Y)-\mathrm {H} (Y)\,}$

互信息的定义中也出现了联合熵的身影：

${\displaystyle I(X;Y)=\mathrm {H} (X)+\mathrm {H} (Y)-\mathrm {H} (X,Y)\,}$

在量子信息理论中， 联合熵被扩展到联合量子熵（英语：joint quantum entropy）。