完整定義
對數損失(Log Loss),也稱為對數似然損失或交叉熵損失(Cross-entropy loss),是衡量分類模型預測結果的準確性的一種指標。它特別適用於輸出機率值的模型,例如邏輯迴歸。對數損失衡量的是模型預測的機率分佈與真實標籤之間的差異。損失值越小,表示模型的預測結果越接近真實情況。
白話說明
你有沒有看過分類模型明明答對了方向,卻很自信地答錯?
你可以把對數損失想成,模型答錯還答很滿時會被重罰的分數。
它其實就是看預測機率和真實標籤差多遠的損失函數。
在二元分類和機率預測裡,它很常用來管模型有沒有亂自信。
記住這句
答錯還很自信,分數會掉很慘。
比喻:對數損失就像「射擊比賽的扣分標準」-- 當你射中靶心(真實標籤)時幾乎不扣分,但如果你射偏得很遠(預測機率與真實值差很大),扣分會非常重,而且越偏離,扣分懲罰會呈指數級增加。
容易混淆
對數損失 vs 交叉熵損失
兩者在很多分類問題裡幾乎是同一套思路。
實務上常因情境不同而交換使用。
對數損失 vs 準確率
準確率只看對錯,對數損失還會看你有多自信。
一個看答案有沒有對,一個看你答題的態度。
最關鍵的區別: 準確率看對錯,對數損失看機率品質。
實際案例
垃圾郵件分類
模型如果把垃圾信判成正常信,還給出 99% 把握,對數損失會重罰這種錯法。
醫療風險預測
醫療模型如果對高風險病人很肯定卻判錯,對數損失能提醒你別只看對錯,還要看信心。
演算法與應用
它會對真實類別的預測機率取對數,再把錯誤的自信程度放大懲罰。
預測越接近真實答案,損失越小;越自信地答錯,損失越大。
這讓模型在訓練時不只追求答對,還會追求機率校準。
情境判斷
Q1(直覺題): 模型把正類判成 0.99,結果其實是負類,這種錯誤會被怎麼看?
會被重罰,因為它不只錯,還錯得很自信。
Q2(判斷題): 如果一個分類器準確率很高,對數損失就一定很好嗎?
不一定,因為它可能只是猜對很多,但對錯誤案例非常自信。
常見問題
在二元或多類分類裡,它們常被視為同一類目標函數,只是表達方式略有不同。
因為這種錯誤代表模型把機率分配得很離譜,應該被比普通錯誤更嚴重地修正。
通常不適合,它主要是給分類和機率預測用的。
相關術語
來源
這個術語目前沒有標註外部來源。
其他格式:Markdown 版本