熵率

在概率的數學理論中，非正式地說，一個隨機過程的熵率或信源信息率是在一個隨機過程的平均信息的時間密度。對於一個索引可數的隨機過程，熵率 Η(X) 是 n 個 X_k 過程作為成員的聯合熵，在 n 趨向無窮時的極限：

${\displaystyle \mathrm {H} (X)=\lim _{n\to \infty }{\frac {1}{n}}\mathrm {H} (X_{1},X_{2},\dots X_{n})}$

前提是該極限存在。另一種相關量為：

${\displaystyle \mathrm {H} '(X)=\lim _{n\to \infty }\mathrm {H} (X_{n}|X_{n-1},X_{n-2},\dots X_{1})}$

對於強平穩隨機過程， ${\displaystyle \mathrm {H} (X)=\mathrm {H} '(X)}$熵率可以被認為是隨機信源的一般特性；這是漸近均分割性。

馬爾可夫鏈的熵率

因為由不可約、非周期性、持久性的馬爾可夫鏈定義的隨機過程呈平穩分布，熵率與初始分布無關。

例如，對於在可數狀態下定義的，轉移矩陣為 P_ij 的馬爾可夫鏈 Y_k，Η(Y) 由下式給出：

${\displaystyle \displaystyle \mathrm {H} (Y)=-\sum _{ij}\mu _{i}P_{ij}\log P_{ij}}$

其中 μ_i 是該鏈的平穩分布。

此定義的一個簡單結果是，一個獨立同分布的隨機過程的熵率與該過程中的任何個別成員的熵相同。

參見

• 信源(數學)
• 馬氏信源
• 漸近均分割性

參考文獻

• Cover, T. and Thomas, J. (1991) Elements of Information Theory, John Wiley and Sons, Inc., ISBN 0-471-06259-6 [1] Archive.is的存檔，存檔日期2012-12-16

外部連結

• Systems Analysis, Modelling and Prediction (SAMP), University of Oxford MATLAB代碼，估計隨機過程的信息論量。