AITerms 登入
模型訓練模型評估深度學習

損失曲線(Loss Curve)是什麼?

損失曲線是把模型的損失對訓練迭代次數或 epoch 畫成的圖,可以畫訓練、驗證或測試損失,用來判斷模型是否收斂或過擬合。

完整定義

損失曲線(Loss Curve)是把損失對訓練迭代次數畫成的圖,橫軸常用迭代次數或 epoch,縱軸是損失。Google 機器學習詞彙表指出,損失曲線可以畫訓練損失、驗證損失與測試損失,用來判斷模型是否在收斂或過擬合,典型的曲線一開始下降得很快,接著慢慢下降,最後趨於平坦。把訓練損失與驗證損失畫在同一張圖時,Google 稱為泛化曲線:在 Google 的範例圖中,兩條線一開始相近,後來訓練損失降得比驗證損失低很多,驗證損失最後明顯高於訓練損失,就表示可能過擬合,對應的做法之一是提前終止,在驗證損失開始上升時停止訓練。要和學習曲線分清楚:scikit-learn 文件裡的學習曲線橫軸是訓練樣本數,用來判斷多加資料有沒有幫助、模型主要受偏差還是變異誤差影響,和看訓練過程的損失曲線是不同的圖。

白話說明

模型訓練了幾十個 epoch,要怎麼知道它學得好不好、該不該停?

看損失曲線:把損失對迭代次數或 epoch 畫成圖,可以把訓練損失和驗證損失畫在同一張圖(Google 稱為泛化曲線)。

損失先快速下降、再慢慢下降、最後趨於平坦,是典型的樣子。訓練損失一直降、驗證損失最後明顯高於訓練損失,就要懷疑過擬合。

記住這句

訓練損失一直降、驗證損失開始回升,表示泛化表現變差,可能開始過擬合,可以用提前終止停下來,並還原驗證損失最好的那一輪權重。

比喻:損失曲線像同時看練習題和模擬考的成績走勢:練習題(訓練資料)分數一直進步,模擬考(驗證資料)卻開始退步,代表在背題目而不是真的學會

容易混淆

損失曲線 vs 學習曲線(scikit-learn)

損失曲線的橫軸是訓練迭代次數或 epoch,看的是同一個模型在訓練過程中損失怎麼變

scikit-learn 的學習曲線橫軸是訓練樣本數,看的是資料變多時訓練分數與驗證分數怎麼變,用來判斷多加資料有沒有幫助

兩種圖橫軸不同,回答的問題也不同。

損失曲線 vs 驗證曲線(scikit-learn)

驗證曲線的橫軸是某一個超參數的值,用訓練分數與驗證分數判讀(分數不是損失):兩個分數都低是欠擬合,訓練分數高、驗證分數低是過擬合

損失曲線看的是訓練進度,不是超參數。

訓練損失 vs 驗證損失

訓練損失是訓練過程中模型的損失,驗證損失是模型在驗證集上的損失,Google 詞彙表說明理想上同一筆樣本不應同時出現在訓練集和驗證集

驗證損失開始上升,代表泛化表現變差

判斷過擬合要看驗證損失,訓練損失再低也不代表模型對新資料一樣好。

實際案例

Keras 的 history 物件

model.fit() 回傳的 history 物件記錄訓練過程的損失與指標。用 validation_data 傳入驗證資料,每個 epoch 結束時會另外算出驗證損失與驗證指標,也可以用 validation_split 保留一部分資料當驗證資料(取 fit() 收到的陣列最後一部分樣本,在任何打亂之前切出,只適用 NumPy 資料)。把 history.history 裡的 loss 與 val_loss 畫成折線圖,就是訓練與驗證的損失曲線。

用 EarlyStopping 自動停下來

Keras 的 EarlyStopping 預設監看 val_loss,patience 是連續幾個 epoch 沒有改善就停止(預設 0)。restore_best_weights 預設是 False,停下來時用的是訓練最後一步的權重,要設成 True 才會還原到監看值最好的那個 epoch。

看曲線檢查學習率

Google 機器學習詞彙表提到,學習率設得太低訓練會花太久,設得太高梯度下降常常難以收斂。損失下降得非常慢,或遲遲無法收斂時,學習率是可以先檢查的超參數之一。

演算法與應用

記錄:訓練時每個 epoch(或每隔固定的迭代次數)記下訓練損失,並在驗證資料上算出驗證損失。

畫圖:橫軸是迭代次數或 epoch,縱軸是損失,訓練與驗證兩條線畫在同一張圖,Google 稱這種圖為泛化曲線。

判讀:先快速下降、再慢慢下降、最後趨於平坦,是 Google 詞彙表描述的典型損失曲線。訓練損失持續下降、驗證損失最後明顯高於訓練損失,表示可能過擬合。Google 詞彙表也列出幾種可能造成欠擬合的原因,例如訓練的 epoch 太少或學習率太低、正則化率太高。

行動:過擬合時可以用提前終止,在驗證損失開始上升時停止訓練,訓練太久本身就可能造成過擬合。Keras 的 EarlyStopping 可以自動監看 val_loss。

情境判斷

Q1(直覺題):訓練損失一路下降,驗證損失在第 20 個 epoch 之後開始上升,代表什麼?該怎麼做?

泛化表現開始變差,是過擬合的訊號:模型越來越貼合訓練資料,對沒看過的資料反而變差。可以用提前終止,在驗證損失開始上升時停止訓練,用 Keras 時設 EarlyStopping 監看 val_loss,並把 restore_best_weights 設成 True,還原監看值最好的那一輪權重。

Q2(判斷題):訓練損失已經降得很低,就代表模型訓練好了嗎?

不一定。訓練損失只反映模型在訓練資料上的表現,要一起看驗證損失。驗證損失最後明顯高於訓練損失時,模型可能已經過擬合。

Q3(判斷題):同事給你一張「學習曲線」,橫軸是訓練樣本數,可以拿來決定第幾個 epoch 停止嗎?

不行。橫軸是訓練樣本數的是 scikit-learn 文件裡的學習曲線,用來判斷多加資料有沒有幫助、模型偏向偏差還是變異誤差。要決定第幾個 epoch 停止,要看橫軸是 epoch 的損失曲線。

常見問題

相關術語

來源

參考來源:developers.google.com

其他格式:Markdown 版本