Teorya ng impormasyon
From Wikipedia, the free encyclopedia
Ang Teoriya ng impormasyon ay sangay ng nilalapat na matematika at inhinyerong elektrikal na pag-aaral ng kwantipikasyon o pagsasabilang ng isang impormasyon. Ang teoriyang ito ay binuo ni Claude E. Shannon upang hanapin ang mga pundamental na hangganan sa mga operasyon ng pagpoproseso ng signal gaya ng kompresyon, pag-iimbak at pagpapadala ng datos. Simula ng pagkakalikha nito, ito ay lumawak upang humanap ng mga aplikasyon sa maraming mga iba pang sakop kabilang ang inperensiyang estadistikal, pagpoproseso ng natural na wika, kriptograpiya, mga network na iba sa mga network ng komunikasyon gaya na sa neurobiolohiya,[1] ebolusyon [2] at tungkulin [3] ng mga kodigong molekular, seleksiyon ng modelo[4] sa ekolohiya, thermal na pisika,[5] pagkukwentang quantum, deteksiyon ng plagiarismo[6] at iba pang mga anyo ng analisis ng datos.[7]
Ang isang mahalagang sukat ng impormasyon ay tinatawag na entropiya na karaniwang inilalarawan ng aberaheng bilang ng mga bit na kailangan upang iimbak o ihatid ang isang simbolo sa isang mensahe. Ang entropiya ay nagkakwantipika ng walang katiyakan na sangkot sa paghuhula ng halaga ng isang randomang bariabulo. Halimbawa, ang pagtukoy ng kalalabasan ng isang patas na pagbaliktad ng barya(dalawang magkatumbas na malamang na kalalabasan) ay nagbibigay ng kaunting impormasyon(mas mababang entropiya) kesa sa pagtukoy ng kalalabasan mula sa pag-ikot ng isang Padron:Dice (anim na magkatumbas na malamang na kalalabasan).
Ang mga aplikasyon ng pundamental na mga paksa ng teoriya ng impormasyon ay kinabibilangan ng walang kawalang kompresyon ng datos(lossless data compression)(e.g. ZIP files), may kawalang kompresyon ng datos(lossy data compression) (e.g. MP3s and JPGs), at pagkokodigo ng channel (e.g. for Digital Subscriber Line (DSL)). Ang larangang ito ay nasa interseksiyon ng matematika, estadistika, agham pang-kompyuter, pisika, neurobiolohiya at inhinyeryang elektrikal. Ang epekto nito ay mahalaga sa pagtatagumpay ng mga misyong Voyager sa malalim na kalawakan, sa imbensiyon ng compact disc, pagiging posible ng mga mobile phone, pagkakabuo ng internet, pag-aaral ng linguistika at persepsiyong pang-tao, pag-unawa ng mga itim na butas at marami pang ibang mga larangan. Ang mahalagang mga pang-ilalim na larangan ng teoriya ng impormasyon ay kinabibilangan ng pagkokodigo ng pinagkunan(source coding), pagkokodigo ng channel(channel coding), teoriya ng algoritmikong kompleksidad, seguridad na impormasyon teoretiko at mga sukat ng impormasyon.