AITerms 登入
機器學習特徵工程模型評估

互信息(Mutual Information)是什麼?

互信息衡量兩個隨機變數之間相互包含的信息量,數值越大代表相關性越高,常用於特徵選擇、圖像配準等任務。

完整定義

互信息(Mutual Information)是資訊理論中衡量兩個隨機變數之間相互依賴程度的度量。它量化了知道一個變數的值後,另一個變數的不確定性減少的程度。互信息越大,表示兩個變數之間的相關性越高;互信息為零,表示兩個變數相互獨立。在機器學習中,互信息常被用於特徵選擇、圖像配準等任務。

白話說明

你有沒有想過,兩個資料欄位之間到底有沒有真正互相知道對方的資訊?

你可以把它想成看兩個變數有多常一起變、一起出現,關係越強,互信息通常越高。

它衡量的是資訊共享量,不只看線性關係,所以比單純相關係數更廣。

記住這句

關係越像彼此透露資訊,互信息越大。

比喻:互信息就像看兩本書的關聯度 -- 如果一本書提到某個概念,另一本也常常一起出現,那它們的互信息就高,代表這兩本書談論的東西很相關,能互相補充資訊。

容易混淆

互信息 vs 相關係數

互信息:看資訊依賴,不限線性

相關係數:主要看線性關係

互信息 vs 共變異數

互信息:用資訊角度看關聯

共變異數:看兩變數一起變動的方向與程度

實際案例

特徵選擇

找出和標籤最有資訊關聯的欄位,留下真正有用的特徵。

影像配準

比較兩張影像是否對齊時,互信息可以當作相似度指標。

演算法與應用

互信息可寫成聯合分佈和邊際分佈差異的量。

如果兩個變數完全獨立,互信息就是 0。

它常用在特徵選擇、配準、以及資訊理論分析裡。

公式與它在量什麼

互資訊衡量「知道 X 之後,對 Y 的不確定性減少了多少」:

I(X;Y) = H(Y) − H(Y|X)

H(Y) 是 Y 本身的熵,H(Y|X) 是知道 X 之後 Y 剩下的熵。兩者相減就是 X 提供的資訊量。

也可以寫成雙重加總的形式:

I(X;Y) = Σ Σ p(x,y) × log( p(x,y) / (p(x)p(y)) )

這個形式看得出它的本質:比較「實際的聯合分布」與「假設兩者獨立時的分布」差多遠。完全獨立時 p(x,y) = p(x)p(y),log 內是 1,整個值等於 0。

跟相關係數差在哪,這是它最常被問的問題

關鍵差別在第一列。一個完美的拋物線關係,相關係數可能是 0,互資訊卻很大,因為知道 X 確實完全決定了 Y。所以互資訊抓得到相關係數看不見的非線性關係。

代價是它沒有方向性,也沒有一個直觀的強弱標準(不像 r 有 0 到 1 的尺度)。需要可比較的尺度時可以用正規化互資訊(NMI),把它除以兩者熵的某種平均,壓到 0 到 1。

實務用途:

特徵選擇時用互資訊排序,能挑出跟目標有非線性關係的欄位,比只看相關係數涵蓋得廣。

分群結果的評估常用調整互資訊(AMI)或 NMI,衡量分群結果跟真實標籤有多一致。

表示學習裡有一整條路線是最大化互資訊,例如對比學習的 InfoNCE 損失,本質上是在最大化同一筆資料兩個視角之間的互資訊下界。

項目
抓什麼關係
皮爾森相關係數
只抓線性
互資訊
任何形式的關係
項目
值域
皮爾森相關係數
−1 到 1
互資訊
0 到無限大
項目
有方向嗎
皮爾森相關係數
有正負
互資訊
沒有,只有強弱
項目
適用資料
皮爾森相關係數
連續變數為主
互資訊
連續與類別都行
項目
計算難度
皮爾森相關係數
一條公式
互資訊
連續變數要估機率密度,較麻煩

情境判斷

Q1(直覺題):你想找出和是否購買最有關的特徵,該優先看什麼?

互信息,因為它能看出特徵和標籤之間的資訊關聯。

Q2(判斷題):如果兩個變數幾乎是彎曲關係,相關係數接近 0,還能說完全沒關係嗎?

不能,這時互信息可能仍然很高,因為它能抓非線性關聯。

常見問題

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

參考來源:en.wikipedia.org

其他格式:Markdown 版本