Stopa entropije

U matematičkoj teoriji vjerovatnoće, entropijska stopa ili stopa izvorne informacije stohastičkog procesa je, neformalno, vremenska gustoća prosječne informacije u stohastičkom procesu. Za stohastičke procese sa prebrojivim indeksom, stopa entropije ${\displaystyle H(X)}$ je granica spojne entropije od ${\displaystyle n}$ članova procesa ${\displaystyle X_{k}}$ podijeljena sa ${\displaystyle n}$, kao ${\displaystyle n}$ teži beskonačnosti:

${\displaystyle H(X)=\lim _{n\to \infty }{\frac {1}{n}}H(X_{1},X_{2},\dots X_{n})}$

kada postoji granica. Alternativna, srodna količina je:

${\displaystyle H'(X)=\lim _{n\to \infty }H(X_{n}|X_{n-1},X_{n-2},\dots X_{1})}$

Za jako stacionarne stohastičke procese, ${\displaystyle H(X)=H'(X)}$. Stopa entropije može se smatrati općim svojstvom stohastičkih izvora; ovo je osobina asimptotske ekviparticije. Stopa entropije može se koristiti za procjenu složenosti stohastičkih procesa. Koristi se u različitim aplikacijama u rasponu od karakterizacije složenosti jezika, slijepog odvajanja izvora, do optimizacije kvantizera i algoritama kompresije podataka. Naprimjer, kriterij maksimalne stope entropije može se koristiti za izbor funkcije u mašinskom učenju.^[1]

Pregled

Apsolutnu vrijednost entropije nekoga siatema nije moguće izmjeriti pa se određuje samo njena promjena, kao promjena količnika razmijenjene toplote i temperature. Mjerna jedinica entropije je džul po kelvinu (${\displaystyle J}$/${\displaystyle K}$).

Entropija je fenomenološka termodinamička veličina stanja kojoj se promjene računaju matematičkim pravilima diferenciranja i integriranja.

Na zatvorenom reverzibilnom putu (Carnotov cirkulatorni proces), kada se konačno i početno stanje poklope, promjena entropije iščezava, Δ${\displaystyle S}$ = ${\displaystyle 0}$. Prema drugom zakonu termodinamike, entropija sistema termički izoliranih od okoline veća je ili jednaka nuli: Δ${\displaystyle S}$ ≥ ${\displaystyle 0}$, pri čemu se znak jednakosti veže za reverzibilne procese, a znak nejednakosti za ireverzibilne procese u sustavu. Entropija zatvorenih sistema povećava se, jer takvi teže stanju najveće vjerovatnoće, odnosno stanju s najvećom entropijom.

Stope entropije za Markovljeve lance

Budući da je stohastički proces definisan Markovljevim lancem koji je nesvodiv, aperiodični i pozitivno rekurentno ima stacionarnu distribuciju, stopa entropije je nezavisna od početne distribucije.

Naprimjer, za takav Markovljev lanac ${\displaystyle Y_{k}}$ definiran na brojljivom broju stanja, s obzirom na matriksnog prijelaza ${\displaystyle P_{ij}}$, ${\displaystyle H(Y)}$ je dat izrazom:

${\displaystyle \displaystyle H(Y)=-\sum _{ij}\mu _{i}P_{ij}\log P_{ij}}$,

gdje ${\displaystyle \mu _{i}}$ = asimptotska distribucija lanca.

Jednostavna posljedica ove definicije je da iid stohastički proces ima stopu entropije koja je ista kao entropija svakog pojedinačnog člana procesa.

Također pogledajte

• Izvor informacija (matematika)
• Markovljev izvor informacija
• Svojstvo asimptotske ekviparticije
• Nasumično kretanje maksimalne entropije - odabrano da maksimizira stopu entropije
• Entropija

Reference

1. Einicke, G. A. (2018). "Maximum-Entropy Rate Selection of Features for Classifying Changes in Knee and Ankle Dynamics During Running". IEEE Journal of Biomedical and Health Informatics. 28 (4): 1097–1103. doi:10.1109/JBHI.2017.2711487. PMID 29969403. S2CID 49555941.

• Cover, T. and Thomas, J. (1991) Elements of Information Theory, John Wiley and Sons, Inc., ISBN 0-471-06259-6