資訊理論
數學理論,來自於機率論和統計學領域 / 維基百科,自由的 encyclopedia
資訊理論(英語:information theory)是應用數學、電子學和電腦科學的一個分支,涉及資訊的量化、儲存和通訊等。資訊理論是由克勞德·夏農發展,用來找出訊號處理與通訊操作的基本限制,如資料壓縮、可靠的儲存和資料傳輸等。自創立以來,它已拓展應用到許多其他領域,包括統計推論、自然語言處理、密碼學、神經生物學[1]、進化論[2]和分子編碼的功能[3]、生態學的模式選擇[4]、熱物理[5]、量子計算、語言學、剽竊檢測[6]、圖型識別、異常檢測和其他形式的資料分析。[7]
此條目可參照英語維基百科相應條目來擴充。 (2019年10月28日) |
熵是資訊的一個關鍵度量,通常用一條訊息中需要儲存或傳輸一個符號(英語:Symbol rate)的平均位元數來表示。熵衡量了預測隨機變數的值時涉及到的不確定度的量。例如,指定擲硬幣的結果(兩個等可能的結果)比指定擲骰子的結果(六個等可能的結果)所提供的資訊量更少(熵更少)。
資訊理論將資訊的遞移作為一種統計現象來考慮,給出了估算通訊頻道容量的方法。資訊傳輸和資訊壓縮是資訊理論研究中的兩大領域。這兩個方面又由頻道編碼定理、信源-頻道隔離定理相互聯絡。
資訊理論的基本內容的應用包括無失真資料壓縮(如ZIP檔案)、有損資料壓縮(如MP3和JPEG)、頻道編碼(如數位使用者線路(DSL))。這個領域處在數學、統計學、電腦科學、物理學、神經科學和電機工程學的交叉點上。資訊理論對航海家深空探測任務的成敗、光碟的發明、手機的可行性、網際網路的發展、語言學和人類感知的研究、對黑洞的了解,以及許多其他領域都影響深遠。資訊理論的重要子領域有信源編碼、頻道編碼、演算法複雜性理論、演算法資訊理論、資訊理論安全性和資訊度量等。