完整定義
交叉熵損失(Cross-entropy loss),又稱對數損失(Log Loss),是一種用於衡量兩個機率分佈之間差異的損失函數。在機器學習中,尤其是在分類問題中,它被廣泛用於評估模型預測的機率分佈與真實標籤的機率分佈之間的差距。交叉熵越小,表示模型的預測結果越接近真實情況。
白話說明
你有沒有在訓練分類模型、看損失有沒有下降時,還在想這件事到底該怎麼看?
把它想成模型對正確答案有多「不確定」的分數。
模型如果把正確類別的機率拉高,交叉熵就會下降很快。
它特別適合分類任務,因為會鼓勵模型把機率分配到正確類別上。
記住這句
分類看機率對不對,不只看分數差多少。
比喻:交叉熵損失就像一位老師批改考卷 -- 它會看學生的答案(模型預測)跟標準答案(真實標籤)差多少。如果學生答案離標準答案越遠,分數就扣越多,讓學生知道要努力改進。
容易混淆
mean-squared-error
vs 均方誤差 (MSE):MSE 像量體重,看兩個數值差多少;交叉熵像測驗答對率,特別適合評估分類結果,看模型預測的類別機率跟實際情況符不符合。
常見混淆:交叉熵損失 vs mean-squared-error
MSE比較像看數值差距,交叉熵更適合看分類機率。
實際案例
圖片分類
模型把狗判成貓時,交叉熵會對這種錯誤給很大的懲罰。
語音辨識
如果正確詞的機率太低,損失就會明顯升高。
演算法與應用
1. 二元分類時,交叉熵常和對數損失一起出現。
2. 它比均方誤差更適合分類,因為對機率錯誤更敏感。
3. 和 softmax 搭配時,常用來處理多類別分類問題。
情境判斷
Q1:分類模型把正確類別的機率從 0.2 拉到 0.8,交叉熵會怎麼變?
會明顯下降,因為模型對正確答案更有把握。
Q2:如果你做的是分類任務,為什麼常不選均方誤差?
因為交叉熵更直接對應機率預測,訓練訊號通常也更好。
常見問題
交叉熵損失和對數損失在二元分類問題中是等價的,可以互換使用。在多元分類問題中,交叉熵損失是更通用的概念,而對數損失通常指代二元分類中的交叉熵損失。因此,可以認為對數損失是交叉熵損失在二元分類問題中的一種特殊情況。
交叉熵損失對機率預測的微小變化更敏感,能夠提供更有效的梯度信息,加速模型訓練。均方誤差在分類問題中可能導致梯度消失問題,特別是在使用 sigmoid 或 softmax 激活函數時。此外,交叉熵損失更符合分類問題的目標,即正確預測類別的機率。
處理樣本不平衡的分類問題可以使用加權交叉熵損失,為少數類別賦予更高的權重,讓模型更加關注少數類別的預測。另一種方法是使用重採樣技術,例如過採樣少數類別或欠採樣多數類別,以平衡訓練數據的類別分佈。此外,還可以使用 Focal Loss 等損失函數,它能夠自動調整不同類別的權重。
H(p, q) = −Σ p(x) log q(x),p 是真實分布、q 是模型預測。分類時 p 是 one-hot,只剩正確類別那一項,損失就是 −log(模型給正確類別的機率)。以自然對數計算,正確類別機率 0.8 時損失約 0.223,機率 0.2 時約 1.609,預測越沒把握損失越大。
不用。官方文件說明它的輸入是未正規化的 logits,函數內部已經包含 log-softmax 的計算。如果先自己做一次 softmax 再丟進去,等於做了兩次 softmax,算出來的就不是正確的交叉熵。類別不平衡時可以用 weight 參數給權重,需要時也有 label_smoothing 參數。
不是。交叉熵方法是一種以抽樣為基礎的最佳化與稀有事件模擬技術,做法是反覆從一個機率分布抽樣,保留表現最好的一批樣本,再用它們更新分布參數。名稱來自更新時用到交叉熵,但用途和分類模型的交叉熵損失不同。
出現在這些考古題
官方公告試題的逐題解析裡,這 4 題把交叉熵損失列為延伸術語。
相關術語
來源
參考來源:en.wikipedia.org
其他格式:Markdown 版本