AITerms 登入
機器學習深度學習模型訓練

交叉熵損失(Cross-entropy)是什麼?

交叉熵損失是一種衡量兩個機率分佈之間差異的損失函數,常用於分類任務中評估模型預測結果與真實標籤的差距。

完整定義

交叉熵損失(Cross-entropy loss),又稱對數損失(Log Loss),是一種用於衡量兩個機率分佈之間差異的損失函數。在機器學習中,尤其是在分類問題中,它被廣泛用於評估模型預測的機率分佈與真實標籤的機率分佈之間的差距。交叉熵越小,表示模型的預測結果越接近真實情況。

白話說明

你有沒有在訓練分類模型、看損失有沒有下降時,還在想這件事到底該怎麼看?

把它想成模型對正確答案有多「不確定」的分數。

模型如果把正確類別的機率拉高,交叉熵就會下降很快。

它特別適合分類任務,因為會鼓勵模型把機率分配到正確類別上。

記住這句

分類看機率對不對,不只看分數差多少。

比喻:交叉熵損失就像一位老師批改考卷 -- 它會看學生的答案(模型預測)跟標準答案(真實標籤)差多少。如果學生答案離標準答案越遠,分數就扣越多,讓學生知道要努力改進。

容易混淆

mean-squared-error

vs 均方誤差 (MSE):MSE 像量體重,看兩個數值差多少;交叉熵像測驗答對率,特別適合評估分類結果,看模型預測的類別機率跟實際情況符不符合。

常見混淆:交叉熵損失 vs mean-squared-error

MSE比較像看數值差距,交叉熵更適合看分類機率。

實際案例

圖片分類

模型把狗判成貓時,交叉熵會對這種錯誤給很大的懲罰。

語音辨識

如果正確詞的機率太低,損失就會明顯升高。

演算法與應用

1. 二元分類時,交叉熵常和對數損失一起出現。

2. 它比均方誤差更適合分類,因為對機率錯誤更敏感。

3. 和 softmax 搭配時,常用來處理多類別分類問題。

情境判斷

Q1:分類模型把正確類別的機率從 0.2 拉到 0.8,交叉熵會怎麼變?

會明顯下降,因為模型對正確答案更有把握。

Q2:如果你做的是分類任務,為什麼常不選均方誤差?

因為交叉熵更直接對應機率預測,訓練訊號通常也更好。

常見問題

出現在這些考古題

官方公告試題的逐題解析裡,這 4 題把交叉熵損失列為延伸術語。

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

參考來源:en.wikipedia.org

其他格式:Markdown 版本