Teori maklumat

Teori maklumat ialah satu cabang dalam matematik gunaan dan kejuruteraan elektrik yang secara aksiomatik mentakrifkan konsep maklumat,^[1]sifat-sifatnya dan menetapkan had hubungan bagi operasi pemerosesan isyarat seperti pemampatan data dan pada operasi menyimpan dan menghubungkan data. Sepertimana kebanyakan teori matematik, teori ini beroperasi dengan model matematik, dan bukan dengan objek fizikal nyata (sumber dan saluran komunikasi). Ia menggunakan sebahagian besar radas matematik dari teori kebarangkalian dan statistik matematik.

Teori maklumat telah dibangunkan oleh Claude E. Shannon dan sejak pengenalannya, aplikasinya berkembang ke dalam banyak bidang termasuklah penaabir statistik, pemerosesan bahasa tabii, kriptografi secara umum, rangkaian selain dari rangkaian komunikasi - seperti dalam neurobiologi,^[2], evolusi^[3], dan fungsi^[4] kod molekular, pemilihan model^[5] dalam ekologi, fizik terma,^[6] pengkomputeran kuantum, pengesan ciplakan^[7] dan lain-lain bentuk analisis data.^[8]

Pengukur utama maklumat dikenali sebagai entropi yang biasanya diungkap dalam purata jumlah bit diperlukan untuk storan atau komunikasi. Entropi akan mengkuantiti ketakpastian yang terjadi dalam meramal nilai pemboleh ubah rawak. Contohnya, menentukan kesudahan dari satu lambungan syling (dua kesudahan sama boleh jadi) memberikan maklumat yang kurang (entropi yang rendah) berbanding dari satu lemparan dadu (enam kesudahan sama boleh jadi).

Antara aplikasi topik asas teori maklumat termasuklah pemampatan tak hilang (cth. fail ZIP), pemampatan hilang (cth. MP3 dan JPG), dan pengekodan (cth. bagi talian DSL). Bidang ini sebenarnya berada pada titik persilangan antara matematik, statistik, sains komputer, fizik, neurobiologi dan kejuruteraan elektrik. Peranannya sangat penting dalam misi-misi Voyager ke angkasa lepas, penciptaan cakera padat, kebolehfungsian telefon mudah alih, pembangunan internet, pengkajian linguistik dan persepsi manusia, pemahaman lohong hitam dan lain-lain bidang penting. Sub bidang utama teori maklumat ialah mampatan data dan pengekodan saluran.

Rujukan

1. C. E. Shannon «A Mathematical Theory of Communication» (Перевод в сборнике Шеннон К. «Работы по теории информации и кибернетике». — М.: ИЛ, 1963. — 830 с., С. 243-322)
2. F. Rieke, D. Warland, R Ruyter van Steveninck, W Bialek, Spikes: Exploring the Neural Code. The MIT press (1997).
3. cf. Huelsenbeck, J. P., F. Ronquist, R. Nielsen and J. P. Bollback (2001) Bayesian inference of phylogeny and its impact on evolutionary biology, Science 294:2310-2314
4. Rando Allikmets, Wyeth W. Wasserman, Amy Hutchinson, Philip Smallwood, Jeremy Nathans, Peter K. Rogan, Thomas D. Schneider, Michael Dean (1998) Organization of the ABCR gene: analysis of promoter and splice junction sequences, Gene 215:1, 111-122
5. Burnham, K. P. and Anderson D. R. (2002) Model Selection and Multimodel Inference: A Practical Information-Theoretic Approach, Second Edition (Springer Science, New York) ISBN 978-0-387-95364-9.
6. Jaynes, E. T. (1957) Information Theory and Statistical Mechanics, Phys. Rev. 106:620
7. Charles H. Bennett, Ming Li, and Bin Ma (2003) Chain Letters and Evolutionary Histories, Scientific American 288:6, 76-81
8. David R. Anderson (November 1, 2003). "Some background on why people in the empirical sciences may want to better understand the information-theoretic methods" (PDF). Diarkibkan daripada yang asal (pdf) pada 2011-07-23. Dicapai pada 2010-06-23.