結合エントロピー

結合エントロピー（けつごうエントロピー、英: joint entropy）とは、情報理論における情報量の一種。結合エントロピーは、2つの確率変数の結合した系でのエントロピーを表す。確率変数 ${\displaystyle X}$ と ${\displaystyle Y}$ があるとき、結合エントロピーは ${\displaystyle H(X,Y)}$ と記される。他のエントロピーと同様、単位は対数の底によってビット (bit)、ナット (nat)、ディット (dit) が使われる。

背景

確率変数 ${\displaystyle X}$ があるとき、そのエントロピー ${\displaystyle H(X)}$ は ${\displaystyle X}$ の値の不確かさを表す。${\displaystyle X}$ について、イベント ${\displaystyle x}$ が発生する確率が ${\displaystyle p_{x}}$ であるとき、${\displaystyle X}$ のエントロピーは次のようになる。

${\displaystyle H(X)=-\sum _{x}p_{x}\log _{2}(p_{x})\!}$

もう1つの確率変数 ${\displaystyle Y}$ では、イベント ${\displaystyle y}$ が発生する確率が ${\displaystyle p_{y}}$ であるとする。${\displaystyle Y}$ のエントロピーは ${\displaystyle H(Y)}$ で表される。

ここで、${\displaystyle X}$ と ${\displaystyle Y}$ が相互に関連したイベントを表しているとき、系全体のエントロピーは ${\displaystyle H(X)+H(Y)}$ にはならない。例えば、1から8までの整数を1つ選ぶとし、それぞれの整数が選ばれる確率が同じとする。${\displaystyle X}$ は選んだ整数が奇数かどうかを表し、${\displaystyle Y}$ は選んだ整数が素数かどうかを表すとする。1から8の整数のうち半分は偶数であり、同じく半分は素数である。したがって ${\displaystyle H(X)=H(Y)=1}$ となる。しかし、選んだ整数が偶数であるとわかっている場合、それが素数である場合は4つのうち1つしかない。つまり、2つの確率変数の分布は関連している。従って系全体のエントロピーは2ビットよりも小さくなる。

定義

ここで、考えられる結果の「対」 ${\displaystyle (x,y)}$ を全て考慮する。

それぞれの対の発生確率を ${\displaystyle p_{x,y}\quad }$ としたとき、結合エントロピーは次のようになる。

${\displaystyle H(X,Y)=-\sum _{x,y}p_{x,y}\log _{2}(p_{x,y})\!}$

上記の例では、1を素数と見なしていない。従って、結合確率分布は次のようになる。

${\displaystyle P({\text{even}},{\text{prime}})=P({\text{odd}},{\text{not prime}})=1/8}$

${\displaystyle P({\text{even}},{\text{not prime}})=P({\text{odd}},{\text{prime}})=3/8}$

以上から、結合エントロピーは次のようになる。

${\displaystyle -2{\frac {1}{8}}\log _{2}(1/8)-2{\frac {3}{8}}\log _{2}(3/8)\approx 1.8~{\text{bits}}}$

特性

部分エントロピーよりも大きい

結合エントロピーは、常に元の系のエントロピー以上となる。新たな系を追加しても不確かさが減ることはない。

${\displaystyle H(X,Y)\geq H(X)}$

この不等式が等式になるのは、${\displaystyle Y}$ が ${\displaystyle X}$ の（決定的）関数になっている場合だけである。

${\displaystyle Y}$ が ${\displaystyle X}$ の（決定的）関数であるとき、以下も成り立つ。

${\displaystyle H(X)\geq H(Y)}$

劣加法性

2つの系をまとめて考えたとき、それぞれの系のエントロピーの総和より大きなエントロピーには決してならない。これは劣加法性 (subadditivity) の一例である。

${\displaystyle H(X,Y)\leq H(X)+H(Y)}$

この不等式が等式になるのは、${\displaystyle X}$ と ${\displaystyle Y}$ に確率論的独立性がある場合だけである。

限界

他のエントロピーと同様、常に ${\displaystyle H(X,Y)\geq 0}$ が成り立つ。

他のエントロピー尺度との関係

結合エントロピーは、次のように条件付きエントロピーの定義に使われる。

${\displaystyle H(X|Y)=H(X,Y)-H(Y)\,}$

また、次のように相互情報量の定義にも使われる。

${\displaystyle I(X;Y)=H(X)+H(Y)-H(X,Y)\,}$

参考文献

• Theresa M. Korn; Korn, Granino Arthur. Mathematical Handbook for Scientists and Engineers: Definitions, Theorems, and Formulas for Reference and Review. New York: Dover Publications. pp. 613-614. ISBN 0-486-41147-8