信息论(英語:information theory)是应用数学、電子學和计算机科学的一个分支,涉及信息的量化、存储和通信等。信息论是由克劳德·香农发展,用来找出信号处理与通信操作的基本限制,如数据压缩、可靠的存储和数据传输等。自创立以来,它已拓展应用到许多其他领域,包括统计推断、自然语言处理、密码学、神经生物学[1]、进化论[2]和分子编码的功能[3]、生态学的模式选择[4]、热物理[5]、量子计算、语言学、剽窃检测[6]、模式识别、异常检测和其他形式的数据分析。[7]
提示:此条目的主题不是
信息学。
熵是信息的一个关键度量,通常用一条消息中需要存储或传输一个符号的平均比特数来表示。熵衡量了预测随机变量的值时涉及到的不确定度的量。例如,指定擲硬幣的结果(两个等可能的结果)比指定掷骰子的结果(六个等可能的结果)所提供的信息量更少(熵更少)。
信息论将信息的传递作为一种统计现象来考虑,给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信道编码定理、信源-信道隔离定理相互联系。
信息论的基本内容的应用包括无损数据压缩(如ZIP文件)、有损数据压缩(如MP3和JPEG)、信道编码(如数字用户线路(DSL))。这个领域处在数学、统计学、计算机科学、物理学、神经科学和電機工程學的交叉点上。信息论对航海家深空探测任务的成败、光盘的发明、手机的可行性、互联网的发展、语言学和人类感知的研究、对黑洞的了解,以及许多其他领域都影响深远。信息论的重要子领域有信源编码、信道编码、算法复杂性理论、算法信息论、資訊理論安全性和信息度量等。
信息论的主要内容可以类比人类最广泛的交流手段——语言来阐述。
一种简洁的语言(以英语为例)通常有两个重要特点:
首先,最常用的词(比如"a"、"the"、"I")应该比不太常用的词(比如"benefit"、"generation"、"mediocre")要短一些;其次,如果句子的某一部分被漏听或者由于噪声干扰(比如一辆车辆疾驰而过)而被误听,听者应该仍然可以抓住句子的大概意思。而如果把电子通信系统比作一种语言的话,这种健壮性(robustness)是不可或缺的。将健壮性引入通信是通过信道编码完成的。信源编码和信道编码是信息论的基本研究课题。
注意这些内容同消息的重要性之间是毫不相干的。例如,像“多谢;常来”这样的客套话與像“救命”这样的紧急请求在说起来、或者写起来所花的时间是差不多的,然而明显后者更重要,也更有实在意义。信息论却不考虑一段消息的重要性或内在意义,因为这些是数据的质量的问题而不是数据量(数据的长度)和可读性方面上的问题,后者只是由概率这一因素单独决定的。
設有一個三個面的骰子,三面分別寫有,為擲得的數,擲得各面的概率為
則
聯合熵(Joint Entropy)由熵的定義出發,計算聯合分布的熵:
條件熵(Conditional Entropy),顧名思義,是以條件機率計算:
由貝氏定理,有,代入聯合熵的定義,可以分離出條件熵,於是得到聯合熵與條件熵的關係式:
可以再對聯合熵與條件熵的關係做推廣,假設現在有個隨機變量,重複分離出條件熵,有:
其直觀意義如下:假如接收一段數列,且先收到,再來是,依此類推。那麼收到後總訊息量為,收到後總訊息量為,直到收到後,總訊息量應為,於是這個接收過程給出了链式法則。
互信息(Mutual Information)是另一有用的信息度量,它是指两个事件集合之间的相关性。两个事件和的互信息定义为:
其意義為,包含的多少資訊。在尚未得到之前,對的不確定性是,得到後,不確定性是。所以一旦得到,就消除了的不確定量,這就是對的資訊量。
如果互為獨立,則,於是。
又因為,所以
其中等號成立條件為,是一個雙射函數。
互信息与G检验以及皮尔森卡方檢定有着密切的联系。
F. Rieke, D. Warland, R Ruyter van Steveninck, W Bialek. Spikes: Exploring the Neural Code. The MIT press. 1997. ISBN 978-0262681087.
cf. Huelsenbeck, J. P., F. Ronquist, R. Nielsen and J. P. Bollback (2001) Bayesian inference of phylogeny and its impact on evolutionary biology, Science 294:2310-2314
Rando Allikmets, Wyeth W. Wasserman, Amy Hutchinson, Philip Smallwood, Jeremy Nathans, Peter K. Rogan, Thomas D. Schneider (页面存档备份,存于互联网档案馆), Michael Dean (1998) Organization of the ABCR gene: analysis of promoter and splice junction sequences, Gene 215:1, 111-122
Burnham, K. P. and Anderson D. R. (2002) Model Selection and Multimodel Inference: A Practical Information-Theoretic Approach, Second Edition (Springer Science, New York) ISBN 978-0-387-95364-9.