Asymptotic equipartition property

下面的证明框架只是已有的许多种不同证明方法中的一种而已。 下面这个可实现性的证明是使用渐近等同分割特性（Asymptotic equipartition property（英语：Asymptotic equipartition property） - AEP）方法。另一种信息论常用证明方法是错误列举法（Error Exponent（英语：Error

信息熵是信源編碼定理中，壓縮率的下限。若編碼所用的資訊量少於信息熵，則一定有資訊的損失。香农在大數定律和渐进均分性（英语：Asymptotic equipartition property）的基础上定義了典型集（英语：Typical set）和典型序列。典型集是典型序列的集合。因為一个独立同分布的 X {\displaystyle

\over {2\pi e}}e^{2h(X)}} 離散隨機變數的夏農熵中，獨立同分布的隨機變數序列，在漸進等分性(Asymptotic equipartition property)之下其機率質量函數 p ( X 1 , X 2 , . . . , X n ) {\displaystyle p(X_{1}