二値エントロピー関数

情報理論において、二値エントロピー関数（にちエントロピーかんすう、binary entropy function）は ${\displaystyle \operatorname {H} (p)}$ もしくは ${\displaystyle \operatorname {H} _{\text{b}}(p)}$ のように表記され、確率 ${\displaystyle p}$ の1値または2値ベルヌーイ過程の情報エントロピーとして定義される。数学的には、ベルヌーイ試行は0か1の排他的な2値のみをとりうる確率変数 ${\displaystyle X}$

${\displaystyle \operatorname {Pr} (X=1)=p}$ のとき ${\displaystyle \operatorname {Pr} (X=0)=1-p}$ であり、${\displaystyle X}$ のエントロピーは（シャノン単位で）次のように与えられる。

${\displaystyle \operatorname {H} (X)=\operatorname {H} _{\text{b}}(p)=-p\log _{2}p-(1-p)\log _{2}(1-p)}$,

ここで、 ${\displaystyle 0\log _{2}0}$ は 0 とする。この式中の対数は通常、底を2とする。二進対数も参照されたい。

${\displaystyle p={\tfrac {1}{2}}}$ のとき、二値エントロピー関数は最大値をとる。これは偏りのないコイントスに対応する。

${\displaystyle \operatorname {H} (p)}$ は単一の実数を引数としてとり、確率分布や確率変数を引数とするエントロピー関数 ${\displaystyle \mathrm {H} (X)}$ とは区別される。二値エントロピー関数を ${\displaystyle \operatorname {H} _{2}(p)}$ と表記する場合もある。しかし、 レニーエントロピー（英語版）も ${\displaystyle \mathrm {H} _{2}(X)}$ と表記することがあるため、混同に注意が必要である。

説明

情報理論における用語では、「エントロピー」とはメッセージ中の不確定性の尺度と考えられる。直感的に理解するため、${\displaystyle p=0}$ の場合を考える。この確率では、ある事象は決して起こらないことが確定しており、不確定性はまったくないのでエントロピーは0となる。${\displaystyle p=1}$ の場合も、結果はやはり確定的でありエントロピーは0となる。${\displaystyle p=1/2}$ のとき不確定性は最大となり、公平な賭けをする場合は確率に関する知識があろうと全く有利にはならないのである。この場合、エントロピーは最大値 1 ビットをとる。中間的な値はこれらの極端な場合の間になる。たとえば ${\displaystyle p=1/4}$ の場合、結果に若干の不確定性があるものの、予言を外すよりは多く当てることができるので不確定性の尺度、すなわちエントロピーは完全な 1 ビットよりは小さくなる。

導関数

二値エントロピー関数の導関数はロジット関数の符号を反転させたもので表現される。

${\displaystyle {d \over dp}H_{\text{b}}(p)=-\operatorname {logit} _{2}(p)=-\log _{2}\left({\frac {p}{1-p}}\right)}$.

テイラー展開

二値エントロピー関数の1/2まわりでのテイラー展開は次のように与えられる。

${\displaystyle \operatorname {H} _{\text{b}}(p)=1-{\frac {1}{2\ln 2}}\sum _{n=1}^{\infty }{\frac {(1-2p)^{2n}}{n(2n-1)}}}$

これは ${\displaystyle 0\leq p\leq 1}$ で成り立つ。

関連項目

• 測度論的エントロピー
• 情報理論
• 情報エントロピー

出典

• MacKay, David J. C.. Information Theory, Inference, and Learning Algorithms Cambridge: Cambridge University Press, 2003. ISBN 0-521-64298-1