完整定義
資訊理論是由克勞德·香農於1948年創立的學科,旨在量化資訊。它提供了一套數學工具,用於分析和設計高效的資料壓縮、可靠的通訊系統以及密碼學等領域。其核心概念包括熵、互資訊、通道容量等,對現代資訊科技產生了深遠影響。
白話說明
你有沒有想過,一段資料到底「值多少資訊」,可以不可以被更省地傳出去?
你可以把它想成在量化訊息的濃度,越難猜、越不確定的資料,資訊量就越高。
資訊理論研究資訊的量化、儲存與傳輸,核心概念包含熵、互資訊、通道容量等,為資料壓縮、通訊編碼等領域奠定基礎。
記住這句
不管內容,只算資訊量和傳輸成本。
比喻:資訊理論就像研究「話語的精華」 -- 它不關心內容,只關心這段話能傳達多少「驚喜」,以及如何最有效率地傳達。
容易混淆
機率論
機率論在算事件會不會發生,資訊理論在算知道這件事要花多少資訊成本。
語意分析
語意分析看內容意思,資訊理論只管資訊量和傳輸效率,不管內容是不是有道理。
實際案例
檔案壓縮
重複字元多的文字檔可以壓得很小,因為低熵資料本來就比較容易用少量位元表示。
通訊編碼
手機訊號在雜訊很大的環境下仍要傳得準,通道容量和編碼方式就是資訊理論的核心工具。
演算法與應用
熵、互資訊、通道容量是三個核心詞。熵量化不確定性,互資訊看兩個變數共享多少資訊,通道容量則是通訊系統能穩定傳多少資訊。很多機器學習損失函數,其實都能在這套框架裡找到位置。
常見問題
機率論在算事件會不會發生,資訊理論在算知道這件事要花多少資訊成本。
你可以把它想成在量化訊息的濃度,越難猜、越不確定的資料,資訊量就越高。
語意分析看內容意思,資訊理論只管資訊量和傳輸效率,不管內容是不是有道理。
出現在這些考古題
官方公告試題的逐題解析裡,這 1 題把資訊理論列為延伸術語。
相關術語
來源
這個術語目前沒有標註外部來源。
其他格式:Markdown 版本