互信息 是什麼？
Mutual Information — 互信息 的完整解釋
互信息衡量兩個隨機變數之間相互包含的信息量，數值越大代表相關性越高，常用於特徵選擇、圖像配準等任務。
容易混淆
互信息 vs 相關係數 互信息：看資訊依賴，不限線性 相關係數：主要看線性關係 最關鍵的區別：先看它是在比什麼，再看它怎麼做。
互信息 vs 共變異數 互信息：用資訊角度看關聯 共變異數：看兩變數一起變動的方向與程度 最關鍵的區別：先看它是在比什麼，再看它怎麼做。
記住這句就好
關係越像彼此透露資訊，互信息越大。
實際案例
特徵選擇 找出和標籤最有資訊關聯的欄位，留下真正有用的特徵。
影像配準 比較兩張影像是否對齊時，互信息可以當作相似度指標。
算法與應用
互信息可寫成聯合分佈和邊際分佈差異的量。 如果兩個變數完全獨立，互信息就是 0。 它常用在特徵選擇、配準、以及資訊理論分析裡。
情境判斷
Q1（直覺題）：你想找出和是否購買最有關的特徵，該優先看什麼？ → 互信息，因為它能看出特徵和標籤之間的資訊關聯。
Q2（判斷題）：如果兩個變數幾乎是彎曲關係，相關係數接近 0，還能說完全沒關係嗎？ → 不能，這時互信息可能仍然很高，因為它能抓非線性關聯。
相關術語
常見問題
互信息一定介於 0 和 1 嗎？
不一定，和資料尺度無關的相對值，不是機率。
它可以用在連續變數嗎？
可以，但估計方式會更難，常需要分箱或密度估計。
互信息越大就越好嗎？
不一定，要看你的任務是要找關聯、做選擇，還是做預測。