A Mathematical Theory of Communication

创始人。香农是密西根大學學士，麻省理工學院博士。 1948年，香农发表了划时代的论文——《通訊的數學理論（英语：A Mathematical Theory of Communication）》，奠定了现代信息论的基础。不仅如此，香农还被认为是数字计算机理论和数字电路设计理论的创始人。1937年，21

术语第一次被正式使用，是在香农著名的论文《通信的数学理论》（A Mathematical Theory of Communication）第1页中。 假设一事件以A或B的方式发生，且A、B发生的概率相等，都为0.5，则一个二进位可用来代表A或B之一。例如： 二进位可以用来表示一个简单的正负 有两种状态的开关（如电灯开关）

mutual information），PMI）的期望。克劳德·香农在他的论文A Mathematical Theory of Communication（英语：A Mathematical Theory of Communication）中定义并分析了这个度量，但是当时他并没有将其称为“互信息”。这个词后

A mathematical theory of communication，Bell System Technical Journal,27 (1948)，379—429，623—656 　　 Bar-Hillel Y. and Carnap，R. An outline of a theory of

1970: 122–3. ISBN 9780060446239 （英语）.  Shannon, C. E. A Mathematical Theory of Communication. Bell System Technical Journal. July 1948, 27 (3): 379–423