AITerms 登入
機器學習深度學習模型訓練

損失函數(Loss Function)是什麼?

損失函數衡量模型預測與實際值之間的差異,數值越小代表模型預測越準確,是模型訓練中優化目標的關鍵組成部分。

完整定義

損失函數(Loss Function)用於量化機器學習模型預測結果與真實值之間的差異程度。在模型訓練過程中,目標是最小化損失函數的值,這表示模型的預測結果與實際情況更加接近。不同的機器學習任務和模型會使用不同的損失函數。

白話說明

你有沒有想過,模型到底該朝哪個方向學,才能知道自己有沒有進步?

你可以把損失函數想成,模型每次回答後被打出來的錯誤分數。

它其實就是衡量預測和真實答案差距的公式。

訓練時要做的事,就是把這個分數慢慢壓低。

記住這句

分數越低,代表模型越接近答案。

比喻:損失函數就像「教練手裡的計分板」-- 每次模型預測錯誤,教練就會在計分板上扣分;模型預測越離譜,扣分越多。教練的目標就是讓模型不斷練習,把分數降到最低,這樣就代表模型表現最棒。

容易混淆

損失函數 vs 代價函數

損失函數看單筆樣本,代價函數看整體平均。

一個是單題成績,一個是總平均。

損失函數 vs 評估指標

損失函數是訓練用的方向盤,評估指標是驗證用的成績表。

模型優化時看前者,上線比較時常看後者。

最關鍵的區別: 訓練時看它,評分時不一定只看它。

實際案例

影像分類訓練

每張圖都會算出一個誤差,損失函數把這些誤差變成可優化的方向。

推薦排序

排序模型常用不同的損失函數去拉開好結果和壞結果的差距。

演算法與應用

不同任務會用不同損失,例如分類常見交叉熵,回歸常見均方誤差。

訓練演算法就是在最小化這個函數,讓預測越來越接近真實值。

如果損失設計不對,模型很可能學偏。

中英對照與常見說法

三個詞的嚴謹區分是:損失函數算單一樣本的誤差,代價函數算整個批次或資料集的平均,目標函數是最終要最佳化的東西(常常是代價函數加上正則化項)。日常對話裡三個混用不會造成誤解,寫論文時要注意。

說法
損失函數
出現場合
台灣正式用語
說法
损失函数
出現場合
簡體寫法
說法
Loss Function
出現場合
英文原名
說法
代價函數(Cost Function)
出現場合
嚴格說指整個資料集的平均損失,實務上常混用
說法
目標函數(Objective Function)
出現場合
涵蓋範圍更廣,最小化或最大化的對象都算
說法
誤差函數
出現場合
口語說法

常見損失函數與適用任務

損失函數
均方誤差(MSE)
任務
迴歸
特性
對離群值敏感,因為誤差取平方
損失函數
平均絕對誤差(MAE)
任務
迴歸
特性
對離群值穩健,但在 0 點不可微
損失函數
Huber 損失
任務
迴歸
特性
小誤差用平方、大誤差用絕對值,兼顧兩者
損失函數
二元交叉熵
任務
二分類
特性
搭配 sigmoid 使用
損失函數
類別交叉熵
任務
多分類
特性
搭配 softmax 使用
損失函數
Focal Loss
任務
極度不平衡的分類
特性
降低容易樣本的權重,讓模型專注在難樣本
損失函數
Hinge Loss
任務
支援向量機
特性
只要分對且超過邊界就沒有損失
損失函數
對比損失、三元組損失
任務
表示學習
特性
拉近同類、推遠異類

選擇與實務上的坑

分類任務為什麼不用 MSE。 交叉熵搭配 softmax 時梯度形式簡潔(預測值減真實值),MSE 搭配 sigmoid 則在預測極度錯誤時梯度反而趨近 0,導致學不動。這叫做梯度飽和。

損失函數要跟業務指標對齊。 這是實務上最常被忽略的一點。詐欺偵測裡漏掉一筆詐欺的代價遠高於誤判一筆正常交易,用未加權的交叉熵等於假設兩種錯誤一樣貴。對策是加類別權重,或直接設計符合成本結構的自訂損失。

不可微的指標不能直接當損失。 準確率、F1、AUC 都是不可微的,不能直接做梯度下降。標準做法是訓練時用可微的代理損失(交叉熵),評估時看真正在意的指標,兩者不一致是正常的。

多個損失相加時要注意尺度。 兩個損失量級差一百倍,相加等於只在訓練其中一個。加權係數要調,或用自動平衡的方法。

損失下降不代表模型變好。 訓練損失一直降但驗證損失開始上升,就是過度擬合的標準訊號,這時候該停了。

情境判斷

Q1(直覺題): 模型訓練時一直在優化的核心數字是什麼?

就是損失函數,它告訴模型現在離答案有多遠。

Q2(判斷題): 只要損失函數下降,模型就一定能在真實世界表現很好嗎?

不一定,還要看資料品質、過擬合和評估指標。

常見問題

出現在這些考古題

官方公告試題的逐題解析裡,這 3 題把損失函數列為延伸術語。

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

參考來源:en.wikipedia.org

其他格式:Markdown 版本