![cover image](https://wikiwandv2-19431.kxcdn.com/_next/image?url=https://upload.wikimedia.org/wikipedia/commons/thumb/d/d4/Entropy_flip_2_coins.jpg/640px-Entropy_flip_2_coins.jpg&w=640&q=50)
熵 (資訊理論)
信息论中的熵 / 維基百科,自由的 encyclopedia
在資訊理論中,熵(英語:entropy,又稱資訊熵、信源熵、平均資訊本體量)是接收的每條消息中包含的資訊的平均量。這裡的「消息」代表來自分布或數據流中的事件、樣本或特徵。(熵最好理解為不確定性的量度而不是確定性的量度,因為越隨機的信源的熵越大。)來自信源的另一個特徵是樣本的機率分布。這裡的想法是,比較不可能發生的事情,當它發生了,會提供更多的資訊。由於一些其他的原因,把資訊(熵)定義為機率分布的對數的相反數是有道理的。事件的機率分布和每個事件的資訊量構成了一個隨機變量,這個隨機變量的均值(即期望)就是這個分布產生的資訊量的平均值(即熵)。熵的單位通常為位元,但也用Sh、nat、Hart計量,取決於定義用到對數的底。
此條目需要補充更多來源。 (2018年2月25日) |
![]() | 此條目可參照英語維基百科相應條目來擴充。 |
![](http://upload.wikimedia.org/wikipedia/commons/thumb/d/d4/Entropy_flip_2_coins.jpg/640px-Entropy_flip_2_coins.jpg)
採用機率分布的對數作為資訊的量度的原因是其可加性。例如,投擲一次硬幣提供了1 Sh的資訊,而擲m次就為m位。更一般地,你需要用log2(n)位來表示一個可以取n個值的變量。
在1948年,克勞德·艾爾伍德·夏農將熱力學的熵,引入到資訊理論,因此它又被稱為夏農熵(Shannon entropy)[1][2]。