HU
All
Articles
Dictionary
Quotes
Map

Wikiwand ❤️ Wikipedia

PrivacyTerms

Shannon-entrópiafüggvény

From Wikipedia, the free encyclopedia

Shannon-entrópiafüggvény
DefinícióA Shannon-képlet intuitív levezetéseTörténeteAxiomatikus definíciókJegyzetekForrásokTovábbi információk

A Shannon-féle entrópiafüggvény Claude Shannon amerikai matematikus és híradástechnikai szakember munkája. Az elméletet a negyvenes évek legvégén az információ nevű fogalom fizikai mennyiséggé és mérhetővé tételére született. Ma ez a fogalom és a tanulmányozása az információelmélet egyik alapja.

 Ez a szócikk vagy szakasz lektorálásra, tartalmi javításokra szorul. (2005 júniusából)

A függvény definiáláshoz feltételezzük, hogy egy kommunikációs folyamatban veszünk részt, melynek csatornáján az X {\displaystyle X} {\displaystyle X} halmaz jeleiből álló véges sorozatok, üzenetek áramlanak. Ha sok üzenet áll rendelkezésre, mérni vagy becsülni tudjuk azt a p ( x ) {\displaystyle p(x)} {\displaystyle p(x)} valószínűséget, hogy adott x ∈ X {\displaystyle x\in X} {\displaystyle x\in X} elem milyen gyakran fordulhat elő egy üzenetben, továbbá, hogy valahogy mérhető vagy meghatározható az x {\displaystyle x} {\displaystyle x} jel információtartalma is, amit az I ( x ) {\displaystyle I(x)} {\displaystyle I(x)} jelöl.

Legyen egy üzenet az x = ( x 1 , x 2 , . . . , x j ) ∈ X j {\displaystyle x=(x_{1},x_{2},...,x_{j})\in X^{j}} {\displaystyle x=(x_{1},x_{2},...,x_{j})\in X^{j}} jelek sorozata.

Ekkor az üzenet információtartalma Shannon definíciója szerint H ( x ) = H ( x 1 , x 2 , . . . , x j ) = p ( x 1 ) I ( x 1 ) + p ( x 2 ) I ( x 2 ) + . . . + p ( x j ) I ( x j ) = p ( x 1 ) l o g 2 p ( x 1 ) − 1 + p ( x 2 ) l o g 2 p ( x 2 ) − 1 + . . . + p ( x j ) l o g 2 p ( x j ) − 1 {\displaystyle H(x)=H(x_{1},x_{2},...,x_{j})=p(x_{1})I(x_{1})+p(x_{2})I(x_{2})+...+p(x_{j})I(x_{j})=p(x_{1})log_{2}p(x_{1})^{-1}+p(x_{2})log_{2}p(x_{2})^{-1}+...+p(x_{j})log_{2}p(x_{j})^{-1}} {\displaystyle H(x)=H(x_{1},x_{2},...,x_{j})=p(x_{1})I(x_{1})+p(x_{2})I(x_{2})+...+p(x_{j})I(x_{j})=p(x_{1})log_{2}p(x_{1})^{-1}+p(x_{2})log_{2}p(x_{2})^{-1}+...+p(x_{j})log_{2}p(x_{j})^{-1}}.

Tehát az x {\displaystyle x} {\displaystyle x} üzenet információtartalma jelei I ( x ) := p ( x ) l o g 2 [ p ( x ) − 1 ] {\displaystyle I(x):=p(x)log_{2}[p(x)^{-1}]} {\displaystyle I(x):=p(x)log_{2}[p(x)^{-1}]} „egyedi információtartalmának” várható értéke.

Shannon egy véges sok jelből álló (véges ábécé feletti) üzenet információértékét az üzenet jeleinek mint a jelre jellemző valószínűséggel bekövetkező események információtartalmának „átlagos”, azaz várható értékeként határozta meg:

H ( x 1 , x 2 , . . . , x j ) = ∑ i = 1 j p ( x i ) I ( x i ) {\displaystyle H\left(x_{1},x_{2},...,x_{j}\right)=\sum _{i=1}^{j}p\left(x_{i}\right)I\left(x_{i}\right)} {\displaystyle H\left(x_{1},x_{2},...,x_{j}\right)=\sum _{i=1}^{j}p\left(x_{i}\right)I\left(x_{i}\right)} .

Ez még nem elégséges a definícióhoz, pontosan azért, mert az I(x) „adott jelhez tartozó információtartalom” mennyiséget nem definiáltuk. Ennek definiálásához Shannon további két feltételezéssel élt:

  1. Kisebb valószínűségű üzenetnek (és így jelnek) az információtartalma nagyobb. Hiszen ha olyan eseményről szerzünk tudomást, amely átlagos, gyakori, azaz nagy valószínűségű; annak nincs nagy jelentősége; ellenben ritkább eseményre kevésbé vagyunk felkészülve, tehát ha ilyen következik be, az fontosabb.
  2. 1/2 valószínűségű esemény információtartalma 1 legyen (egységválasztás, azaz normálás).
  3. Független események együttesének mint eseménynek az információtartalma a két esemény információtartalmának összege legyen (additivitás).

Matematikailag bebizonyítható , hogy a következő képlet adja meg, ha a fenti normális(?) feltételezésekkel élünk:

H ( X _ ) {\displaystyle H\left({\underline {X}}\right)} {\displaystyle H\left({\underline {X}}\right)} = {\displaystyle =} {\displaystyle =} H ( x 1 , x 2 , . . . , x n ) {\displaystyle H\left(x_{1},x_{2},...,x_{n}\right)} {\displaystyle H\left(x_{1},x_{2},...,x_{n}\right)} := {\displaystyle :=} {\displaystyle :=} ∑ i = 1 n p ( x i ) log 2 ⁡ 1 p ( x i ) {\displaystyle \sum _{i=1}^{n}p(x_{i})\log _{2}{\frac {1}{p\left(x_{i}\right)}}} {\displaystyle \sum _{i=1}^{n}p(x_{i})\log _{2}{\frac {1}{p\left(x_{i}\right)}}}

A fenti H függvény néhány jellemzője:

  1. p ( x ) ≤ p ( y ) ⇒ H ( x ) ≥ H ( y ) {\displaystyle p(\mathbf {x} )\leq p(\mathbf {y} )\Rightarrow H(\mathbf {x} )\geq H(\mathbf {y} )} {\displaystyle p(\mathbf {x} )\leq p(\mathbf {y} )\Rightarrow H(\mathbf {x} )\geq H(\mathbf {y} )}
  2. p ( x ) p ( y ) = p ( x y ) ⇒ H ( x y ) = H ( x ) + H ( y ) {\displaystyle p(\mathbf {x} )p(\mathbf {y} )=p(\mathbf {xy} )\Rightarrow H(\mathbf {xy} )=H(\mathbf {x} )+H(\mathbf {y} )} {\displaystyle p(\mathbf {x} )p(\mathbf {y} )=p(\mathbf {xy} )\Rightarrow H(\mathbf {xy} )=H(\mathbf {x} )+H(\mathbf {y} )}
  3. p ( x ) = 1 2 ⇒ H ( x ) = 1 {\displaystyle p(\mathbf {x} )={\frac {1}{2}}\Rightarrow H(\mathbf {x} )=1} {\displaystyle p(\mathbf {x} )={\frac {1}{2}}\Rightarrow H(\mathbf {x} )=1}

Korábban (1928) R. V. L. Hartley már bevezetett egy információfogalmat (Hartley-információ). Szerinte egy n elemű véges X halmaz valamely elemének azonosításához, ha elvileg bármelyik lehet közülük a keresett elem,

I(n) = log2 |X| = log2(n)

mértékű információra van szükség. E definíció szerint bármely elem (kiválasztása) azonos információtartalmat hordoz.

A fenti definíció azért bírálható, mert az információ értéke nem függ attól, hogy az egyes elemeket milyen valószínűséggel kívánjuk kiválasztani. Shannon vezetett be egy konkrét problémából, egy hírközlési csatorna kapacitásának definíciójának szükségességéből kiindulva egy olyan információdefiníciót, amely a fenti problémára tekintettel van („The Mathematical Theory of Communication” c. cikkeiben, mely a Bell System Technical Journal c. lapban jelent meg 1948 júliusában és októberében). Neumann János javaslatára nevezte el saját információmérő függvényét entrópiafüggvénynek, noha az elnevezés nemcsak a fizikai entrópiával kapcsolatos sok hasonlóságra mutat rá, de attól való különbségei miatt rengeteg kritika is érte (az ilyenek egy lehetséges motivációjáról és alternatív definícióról ld. például T. Stonier: Információ és az Univerzum belső szerkezete).

Később – elsősorban szovjet – kutatók, mint Fagyejev, Hincsin, axiomatikusan is felépítették.

A H függvény tulajdonságai a következők:

 1.  ∀ i ∈ { 1 , 2 , . . . , n } :   H ( a 1 , . . . , a i − 1 , x i , a i + 1 ) ∈ C [ − ∞ , + ∞ ] {\displaystyle \forall i\in \left\{1,2,...,n\right\}:\ H(a_{1},...,a_{i-1},\mathbf {x} _{i},a_{i+1})\in C[-\infty ,+\infty ]} {\displaystyle \forall i\in \left\{1,2,...,n\right\}:\ H(a_{1},...,a_{i-1},\mathbf {x} _{i},a_{i+1})\in C[-\infty ,+\infty ]}
 2.  ∀ i , j ∈ { 1 , 2 , . . . , n } :   i ≤ j ⇒ {\displaystyle \forall i,j\in \left\{1,2,...,n\right\}:\ i\leq j\Rightarrow } {\displaystyle \forall i,j\in \left\{1,2,...,n\right\}:\ i\leq j\Rightarrow }
⇒   H ( x 1 , . . . , x i − 1 , x i , x i + 1 , . . . , x j − 1 , x j , x j + 1 , . . . , x n ) = H ( x 1 , . . . , x i − 1 , x j , x i + 1 , . . . , x j − 1 , x i , x j + 1 , . . . , x n ) {\displaystyle \Rightarrow \ H(x_{1},...,x_{i-1},x_{i},x_{i+1},...,x_{j-1},x_{j},x_{j+1},...,x_{n})=H(x_{1},...,x_{i-1},x_{j},x_{i+1},...,x_{j-1},x_{i},x_{j+1},...,x_{n})} {\displaystyle \Rightarrow \ H(x_{1},...,x_{i-1},x_{i},x_{i+1},...,x_{j-1},x_{j},x_{j+1},...,x_{n})=H(x_{1},...,x_{i-1},x_{j},x_{i+1},...,x_{j-1},x_{i},x_{j+1},...,x_{n})}
 3.  max { H ( x _ )   |   x _ ∈ R n } = H ( 1 n , 1 n , . . . , 1 n ) {\displaystyle \max \left\{H({\underline {x}})\ |\ {\underline {x}}\in \mathbb {R} ^{n}\right\}=H\left({\frac {1}{n}},{\frac {1}{n}},...,{\frac {1}{n}}\right)} {\displaystyle \max \left\{H({\underline {x}})\ |\ {\underline {x}}\in \mathbb {R} ^{n}\right\}=H\left({\frac {1}{n}},{\frac {1}{n}},...,{\frac {1}{n}}\right)}
 4.  H ( x 1 , . . . , x n , 0 ) = H ( x 1 , . . . , x n ) {\displaystyle H\left(x_{1},...,x_{n},0)=H(x_{1},...,x_{n}\right)} {\displaystyle H\left(x_{1},...,x_{n},0)=H(x_{1},...,x_{n}\right)}
 5.  x n = ∑ k = 1 m y k ⇒ H ( x 1 , . . . , x n − 1 , y 1 , . . . , y m ) = H ( x 1 , . . . , x n − 1 ) + p ( x n ) H ( y 1 , . . . , y m ) {\displaystyle x_{n}=\sum _{k=1}^{m}y_{k}\Rightarrow H(x_{1},...,x_{n-1},y_{1},...,y_{m})=H(x_{1},...,x_{n-1})+p(x_{n})H(y_{1},...,y_{m})} {\displaystyle x_{n}=\sum _{k=1}^{m}y_{k}\Rightarrow H(x_{1},...,x_{n-1},y_{1},...,y_{m})=H(x_{1},...,x_{n-1})+p(x_{n})H(y_{1},...,y_{m})}
 6.  H ( 1 2 , 1 2 ) = 1 {\displaystyle H\left({\frac {1}{2}},{\frac {1}{2}}\right)=1} {\displaystyle H\left({\frac {1}{2}},{\frac {1}{2}}\right)=1}
  • Fagyejev belátta, hogy 1.-2.-5.-6.-ból következik, hogy H-t a Shannon-képlet adja meg;
  • Hincsin belátta, hogy 1.-3.-4.-6.-ból is következik ugyanez.
      • Csiszár Imre – Fritz József: Információelmélet. ELTE jegyzet. Nemzeti Tankönyvkiadó, Bp., 1995.
      • Csiszár Villő: Információelmélet. Előadássorozat, ELTE, 2003.
      • Shigeru Furuichi, Flavia-Corina Mitroi-Symeonidis, Eleutherius Symeonidis, On some properties of Tsallis hypoentropies and hypodivergences, Entropy, 16(10) (2014), 5377-5399; DOI:10.3390/e16105377
      • Shigeru Furuichi, Flavia-Corina Mitroi, Mathematical inequalities for some divergences, Physica A 391 (2012), pp. 388-400, DOI:10.1016/j.physa.2011.07.052; ISSN 0378-4371
      • Shigeru Furuichi, Nicuşor Minculete, Flavia-Corina Mitroi, Some inequalities on generalized entropies, J. Inequal. Appl., 2012, 2012:226. DOI: 10.1186/1029-242X-2012-226
      • Claude Shannon: „The Mathematical Theory of Communication”; Bell System Technical Journal, 1948. július-október
      • Alice és Bob - 2. rész: Alice és Bob számítógépezik
      • Informatika Informatikai portál • összefoglaló, színes tartalomajánló lap
      Edit in WikipediaRevision historyRead in Wikipedia

      Wikiwand in your browser!

      Seamless Wikipedia browsing. On steroids.

      Every time you click a link to Wikipedia, Wiktionary or Wikiquote in your browser's search results, it will show the modern Wikiwand interface.

      Wikiwand extension is a five stars, simple, with minimum permission required to keep your browsing private, safe and transparent.

      Chrome
      Wikiwand for Chrome
      Edge
      Wikiwand for Edge
      Firefox
      Wikiwand for Firefox

      Definíció

      A Shannon-képlet intuitív levezetése

      Története

      Axiomatikus definíciók

      Jegyzetek

      Források

      További információk