![cover image](https://wikiwandv2-19431.kxcdn.com/_next/image?url=https://upload.wikimedia.org/wikipedia/commons/thumb/d/d4/Entropy_flip_2_coins.jpg/640px-Entropy_flip_2_coins.jpg&w=640&q=50)
熵 (信息論)
信息论中的熵 / 維基百科,自由的 encyclopedia
在信息論中,熵(英語:entropy,又稱信息熵、信源熵、平均自信息量)是接收的每條消息中包含的信息的平均量。這裡的「消息」代表來自分布或數據流中的事件、樣本或特徵。(熵最好理解為不確定性的量度而不是確定性的量度,因為越隨機的信源的熵越大。)來自信源的另一個特徵是樣本的概率分布。這裡的想法是,比較不可能發生的事情,當它發生了,會提供更多的信息。由於一些其他的原因,把信息(熵)定義為概率分布的對數的相反數是有道理的。事件的概率分布和每個事件的信息量構成了一個隨機變量,這個隨機變量的均值(即期望)就是這個分布產生的信息量的平均值(即熵)。熵的單位通常為比特,但也用Sh、nat、Hart計量,取決於定義用到對數的底。
此條目需要補充更多來源。 (2018年2月25日) |
![]() | 此條目可參照英語維基百科相應條目來擴充。 |
![](http://upload.wikimedia.org/wikipedia/commons/thumb/d/d4/Entropy_flip_2_coins.jpg/640px-Entropy_flip_2_coins.jpg)
採用概率分布的對數作為信息的量度的原因是其可加性。例如,投擲一次硬幣提供了1 Sh的信息,而擲m次就為m位。更一般地,你需要用log2(n)位來表示一個可以取n個值的變量。
在1948年,克勞德·艾爾伍德·香農將熱力學的熵,引入到信息論,因此它又被稱為香農熵(Shannon entropy)[1][2]。