搜尋意圖： 如果你在找「互信息 是什麼」或「互信息 和相近概念差在哪」，先看這頁的短定義、完整說明與延伸比較。
TL;DR： 互信息衡量兩個隨機變數之間相互包含的信息量，數值越大代表相關性越高，常用於特徵選擇、圖像配準等任務。
實用情境： 適合用在閱讀 AI 文章、產品文件或和同事討論時，先用一頁快速對齊概念。
下一步： 先讀完定義，再往下看延伸比較與對應工具，把概念轉成實際應用。
你有沒有想過，兩個資料欄位之間到底有沒有真正互相知道對方的資訊？ 你可以把它想成看兩個變數有多常一起變、一起出現，關係越強，互信息通常越高。 它衡量的是資訊共享量，不只看線性關係，所以比單純相關係數更廣。 這也讓它很適合先拿到可用答案，再慢慢把精度往上推。
容易混淆
互信息 vs 相關係數 互信息：看資訊依賴，不限線性 相關係數：主要看線性關係 最關鍵的區別：先看它是在比什麼，再看它怎麼做。
互信息 vs 共變異數 互信息：用資訊角度看關聯 共變異數：看兩變數一起變動的方向與程度 最關鍵的區別：先看它是在比什麼，再看它怎麼做。
記住這句就好
關係越像彼此透露資訊，互信息越大。
實際案例
特徵選擇 找出和標籤最有資訊關聯的欄位，留下真正有用的特徵。
影像配準 比較兩張影像是否對齊時，互信息可以當作相似度指標。
算法與應用
互信息可寫成聯合分佈和邊際分佈差異的量。 如果兩個變數完全獨立，互信息就是 0。 它常用在特徵選擇、配準、以及資訊理論分析裡。
情境判斷
Q1（直覺題）： 你想找出和是否購買最有關的特徵，該優先看什麼？
互信息，因為它能看出特徵和標籤之間的資訊關聯。
Q2（判斷題）： 如果兩個變數幾乎是彎曲關係，相關係數接近 0，還能說完全沒關係嗎？
不能，這時互信息可能仍然很高，因為它能抓非線性關聯。
常見問題
互信息一定介於 0 和 1 嗎？
不一定，和資料尺度無關的相對值，不是機率。
它可以用在連續變數嗎？
可以，但估計方式會更難，常需要分箱或密度估計。
互信息越大就越好嗎？
不一定，要看你的任務是要找關聯、做選擇，還是做預測。