Ентропійна швидкість

У математичній теорії ймовірності шви́дкість ентропі́ї або шви́дкість джерела́ інформа́ції (англ. entropy rate, source information rate) стохастичного процесу — це, неформально, часова густина усередненої інформації в стохастичному процесі. Для стохастичних процесів зі зліченним індексом швидкістю ентропії Η(X) є границя спільної ентропії n членів процесу X_k, поділена на n, при прямуванні n до нескінченності:

${\displaystyle \mathrm {H} (X)=\lim _{n\to \infty }{\frac {1}{n}}\mathrm {H} (X_{1},X_{2},\dots X_{n})}$

коли ця границя існує. Альтернативною, пов'язаною величиною є

${\displaystyle \mathrm {H} '(X)=\lim _{n\to \infty }\mathrm {H} (X_{n}|X_{n-1},X_{n-2},\dots X_{1})}$

Для строго стаціонарних стохастичних процесів ${\displaystyle \mathrm {H} (X)=\mathrm {H} '(X)}$. Швидкість ентропії можна розглядати як загальну властивість стохастичних джерел; це є властивість асимптотичної рівнорозподіленості^[en].

Швидкість ентропії для марковських ланцюгів

Оскільки стохастичний процес, визначений марковським ланцюгом, що є нерозкладним, аперіодичним і позитивно рекурентним, має стаціонарний розподіл, швидкість ентропії не залежить від початкового розподілу.

Наприклад, для такого марковського ланцюга Y_k, визначеного на зліченному числі станів, за заданої матриці переходів P_ij, H(Y) задається як

${\displaystyle \displaystyle \mathrm {H} (Y)=-\sum _{ij}\mu _{i}P_{ij}\log P_{ij}}$

де μ_i є асимптотичним розподілом^[en] цього ланцюга.

Простим наслідком цього визначення є те, що н. о. р. стохастичний процес має таку же швидкість ентропії, як і ентропія будь-якого з окремих членів цього процесу.

Див. також

• Джерело інформації (математика)^[en]
• Марковське джерело інформації^[en]
• Властивість асимптотичної рівнорозподіленості^[en]

Джерела

• Cover, T. and Thomas, J. (1991) Elements of Information Theory, John Wiley and Sons, Inc., ISBN 0-471-06259-6 (англ.)