AITerms 登入
機器學習深度學習模型評估

KL散度(KL Divergence)是什麼?

KL散度(Kullback-Leibler Divergence)衡量兩個機率分佈的差異,數值越大代表分佈差異越大,常用於評估模型預測分佈與真實分佈的接近程度。

完整定義

KL散度(Kullback-Leibler Divergence),又稱相對熵,是一種衡量兩個機率分佈P和Q之間差異的非對稱度量。它量化了使用分佈Q來近似分佈P時所損失的信息量。KL散度永遠是非負的,且當P=Q時,KL散度為零。在機器學習中,常被用於評估模型預測的分佈與真實分佈的接近程度,是變分推斷和生成模型的重要工具。

白話說明

兩個機率分佈看起來都像,但到底差多少,能不能用一個數字說清楚?

你可以把它想成拿真實分佈當標準,算另一個分佈偏離了多少資訊。

KL散度(Kullback-Leibler Divergence)衡量兩個機率分佈的差異,數值越大代表分佈差異越大,常用於評估模型預測分佈與真實分佈的接近程度。

記住這句

越小越像,但方向不能亂換。

比喻:KL 散度就像量測兩張地圖有多像 -- 如果兩張地圖的等高線、河流走向幾乎一模一樣,那 KL 散度就小;如果差很多,KL 散度就大。

容易混淆

交叉熵

交叉熵常在訓練時直接用,和 KL 散度只差一個與模型無關的常數。

JS 散度

JS 散度是對稱版本,KL 散度是不對稱版本,方向一換數字就可能不同。

實際案例

語言模型訓練

模型輸出的下一個字分佈越接近真實語料,KL 散度就越低。

變分自編碼器

VAE 會用 KL 把潛在分佈拉回設定的先驗分佈,避免空間太亂。

演算法與應用

KL 散度不是距離,因為它不對稱,也不符合三角不等式。實務上,它最常出現在分類損失、分佈對齊、知識蒸餾和變分推斷裡。當某一邊的機率為 0 時,數值可能爆大,這也是為什麼常要做平滑。

iPAS 考題

出題方向: 這類概念常考定義、差異和實務用法。

題目 關於 KL 散度,下列何者正確?

答案:B。 KL 散度衡量的是兩個機率分佈的差異,數值越小代表越接近。A 錯在它不是對稱距離,C 錯在它常用來衡量分佈差異,D 錯在方向是有意義的。

常見問題

出現在這些考古題

官方公告試題的逐題解析裡,這 2 題把KL散度列為延伸術語。

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

參考來源:en.wikipedia.org

其他格式:Markdown 版本