Теорија на информациите
From Wikipedia, the free encyclopedia
Теоријата на информациите ги проучува квантификацијата, складирањето и комуникацијата на информациите. Првично било предложено од Клод Шенон во 1948 година да се пронајдат основните граници за обработка на сигнали и комуникациски операции, како што се збивање на податоци, во обележје со наслов „Математичка теорија на комуникацијата“. Неговото влијание е клучно за успехот на мисиите на Војаџер во длабок простор, изум на компактен диск, изводливост на мобилни телефони, развој на Интернет, проучување на лингвистиката и на перцепцијата на човекот, разбирање на црните дупки и сл. и бројни други полиња.
Областа е на пресекот на математиката, статистиката, компјутерските науки, физиката, невробиологијата, информатичкото инженерство и електротехниката. Теоријата исто така пронајде апликации во други области, вклучувајќи статистички заклучок, обработка на природен јазик, криптографија, невробиологија,[1] човечка визија,[2] еволуција[3] и функција[4] на молекуларни кодови (биоинформатика), избор на модели во статистиката, топлинска физика,[5] квантна пресметка, лингвистика, откривање на плагијат,[6] препознавање на модели и откривање на аномалија.[7] Важни под-полиња на теоријата на информации вклучуваат кодирање на изворот, теорија на алгоритмичка сложеност, алгоритмичка теорија на информации, теоретска безбедност на информации, теорија на сивиот систем и мерки на информации.
Апликациите на фундаментални теми на теоријата на информации вклучуваат компресија на податоци без загуби (на пр ZIP-датотеки), компресирана загуба на податоци (на пр. MP3 и JPEG) и кодирање на канали (на пр. За DSL). Теоријата на информации се користи при пронаоѓање информации, собирање разузнавачки информации, коцкање, па дури и во музички состав.
Клучна мерка во теоријата на информации е ентропија. Ентропијата ја квантифицира количината на неизвесност вклучена во вредноста на случајната променлива или исходот од случаен процес. На пример, идентификувањето на исходот од ферман флип (со две подеднакво веројатни исходи) дава помалку информации (пониска ентропија) отколку да се специфицира исходот од фрлање на коцка (со шест подеднакво веројатни исходи). Некои други важни мерки во теоријата на информации се заемна информација, капацитет на канали, експоненти на грешки и релативна ентропија .