Ентропија (теорија информација)
очекивана вредност количине информација које испоручује порука / From Wikipedia, the free encyclopedia
У теорији информације, ентропија је мера неодређености придружена случајној променљивој. У овом контексту, обично се мисли на Шенонову ентропију, која квантификује очекивану вредност информације садржане у поруци, обично у јединицама као што су бити. Еквивалентно, Шенонова ентропија је мера просечног информационог садржаја који се пропушта када се не зна вредност случајне променљиве. Концепт је увео Клод Шенон у свом чувеном раду из 1948. године „Математичка теорија комуникација“.[1] Шенонова ентропија представља апсолутну границу најбоље могуће компресије без губитака било какве комуникације, под извесним ограничењима: ако третирамо поруке да су кодоване као низ независних случајних променљивих са истом расподелом, прва Шенонова теорема показује да, у граничном случају, средња дужина најкраће могуће репрезентације за кодовање порука у датом алфабету је њихова ентропија подељена са логаритмом броја симбола у циљном алфабету.
Једно бацање фер новчића носи ентропију од једног бита. Два бацања - два бита. Брзина ентропије за новчић је један бит по бацању. Међутим, ако новчић није фер, тада је неодређеност мања (ако бисмо морали да се кладимо на исход наредног покушаја, вероватно ћемо се кладити на чешћи резултат), па је и Шенонова ентропија мања. Математички, једно бацање новчића (фер или не) представља Бернулијев експеримент, а његова ентропија дата је бинарном ентропијском функцијом. Низ бацања новчића са две главе имаће нулту ентропију, јер су исходи потпуно предвидљиви. Брзина ентропије текста на енглеском је од 1 до 1,5 бита по слову, односно од 0,6 до 1,3 бита по слову, према проценама базираним на експериментима.[2][3]
Мера информационе ентропије асоциране са сваком могућом вредношћу података је негативни логаритам функције вероватноће масе вредности:
- .[4]
Када извор података има вредност ниже вероватноће (тј., кад се јави догађај мање вероватноће), догађај носи више „информација”, него кад извор података има вредност веће вероватноће. Количина информације пресене сваким догађајем на овај начин постаје случајна променљива чија очекивана вредност је информациона ентропија. Генерално, ентропија се односи на неред или несигурност, и дефиниција ентропије која се користи у информационој теорији је директно аналогна дефиницији кориштеној у статистичкој термодинамици.
Основни модел система преноса података се састоји од три елемента, извора података, комуникацијског канала, и примаоца, и према Шанону „фундаментални проблем комуникације” је за примаоца да може да идентификује који подаци су генерисани у извору на бази сигнала који су примљени кроз канал.[5]:379–423 и 623–656 Ентропија пружа апсолутни лимит најкраће могуће просечне дужине безгубитачне компресије кодирања података произведених у извору, и ако је ентропија извора мања од каналног капацитета комуникационог канала, подаци генерисани у извору се могу поздано пренети до примаоца (бар у теорији, евентуално занемарујући неке практичне аспекте, као што је сложеност система потребног за пренос података и времена које може бити неопходно).
Информациона ентропија се типично мери у битовима (алтернативно званим „шенони”) или понекад у „природним јединицама” (натови) или децималним бројевима (званим „дитови”, „банови”, или „хартлији”). Јединица мера зависи од базе логаритма који се користи за дефинисање ентропије.
Логаритам вероватноће је користан као мера ентропије јер је адитиван за независне изворе. На пример, ентропија бацања новчића је један бит, и ентропија m бацања је m битова. У једноставном приказу, log2(n) битова је потребно за приказивање променљиве која може да поприми n вредности, ако је n степен од 2. Ако су те вредности једнако вероватне, ентропија (у битовима) је једнака том броју. Ако је једна од вредности вероватнија од других, запажање да се та вредност јавила је мање информативна него да се неки мање заступљени исход одвио. Консеквентно, ређи догађаји пружају више информација кад су уочени. Пошто се уочавања мање вероватних догађаја дешавају ређе, нето ефекат је да је ентропија (која се сматра просечном информацијом) добијена из неуниформне дистрибуције података увек мања или једнака од log2(n). Ентропија је нула кад је извесно да ће се један исход догодити. Ентропија квантификује ова разматрања када је позната дистрибуција вероватноће изворних података. Смисао уоченог догађаја (смисао поруке) није важан у дефиницији ентропије. Ентропија једино узима у обзир вероватноћу уочавања специфичног догађаја, тако да информација коју она садржи представља информацију о исходишној дистрибуцији вероватноће, а не о значењу самих догађаја.