Loading AI tools
確率過程における情報量の時間平均 ウィキペディアから
確率の数理理論において確率過程のエントロピーレート(英: entropy rate)または情報源レート(source information rate)とは、平たく言えば、確率過程における情報量の時間平均である。可算個の時間添字を持つ確率過程のエントロピーレート は、 ステップまでの の結合エントロピーを で割った量の、 が無限大に向かうときの極限と定義される(極限が存在するときに限る):
一方、関連する量に
がある。強定常過程に対しては となる。エントロピーレートは確率過程の一般的性質として捉えることができ、これは漸近等分割性と呼ばれる。エントロピーレートは確率過程の複雑性の推定にも使うことができる。また、言語の複雑性の特徴付け、ブラインド信号源分離、量化子器の最適化、データ圧縮アルゴリズムといった広範な対象に応用される。例えば、エントロピーレート最大化基準は機械学習における特徴選択に利用することができる[1]。
既約、非周期的で正の再帰確率を持つマルコフ連鎖から定義される確率過程は極限分布を持ち、エントロピーレートは初期分布に依存しない。
例えば、マルコフ連鎖 が可算個の状態と確率行列 で定義されているとき、 は
で与えられる。ここで はマルコフ連鎖の定常分布。
定義からの簡単な帰結として、独立同分布の確率変数列から成る確率過程のエントロピーレートは、各ステップの確率分布のエントロピーと一致する。
Seamless Wikipedia browsing. On steroids.
Every time you click a link to Wikipedia, Wiktionary or Wikiquote in your browser's search results, it will show the modern Wikiwand interface.
Wikiwand extension is a five stars, simple, with minimum permission required to keep your browsing private, safe and transparent.