完整定義
損失曲線(Loss Curve)是把損失對訓練迭代次數畫成的圖,橫軸常用迭代次數或 epoch,縱軸是損失。Google 機器學習詞彙表指出,損失曲線可以畫訓練損失、驗證損失與測試損失,用來判斷模型是否在收斂或過擬合,典型的曲線一開始下降得很快,接著慢慢下降,最後趨於平坦。把訓練損失與驗證損失畫在同一張圖時,Google 稱為泛化曲線:在 Google 的範例圖中,兩條線一開始相近,後來訓練損失降得比驗證損失低很多,驗證損失最後明顯高於訓練損失,就表示可能過擬合,對應的做法之一是提前終止,在驗證損失開始上升時停止訓練。要和學習曲線分清楚:scikit-learn 文件裡的學習曲線橫軸是訓練樣本數,用來判斷多加資料有沒有幫助、模型主要受偏差還是變異誤差影響,和看訓練過程的損失曲線是不同的圖。
白話說明
模型訓練了幾十個 epoch,要怎麼知道它學得好不好、該不該停?
看損失曲線:把損失對迭代次數或 epoch 畫成圖,可以把訓練損失和驗證損失畫在同一張圖(Google 稱為泛化曲線)。
損失先快速下降、再慢慢下降、最後趨於平坦,是典型的樣子。訓練損失一直降、驗證損失最後明顯高於訓練損失,就要懷疑過擬合。
記住這句
訓練損失一直降、驗證損失開始回升,表示泛化表現變差,可能開始過擬合,可以用提前終止停下來,並還原驗證損失最好的那一輪權重。
比喻:損失曲線像同時看練習題和模擬考的成績走勢:練習題(訓練資料)分數一直進步,模擬考(驗證資料)卻開始退步,代表在背題目而不是真的學會
容易混淆
損失曲線 vs 學習曲線(scikit-learn)
損失曲線的橫軸是訓練迭代次數或 epoch,看的是同一個模型在訓練過程中損失怎麼變
scikit-learn 的學習曲線橫軸是訓練樣本數,看的是資料變多時訓練分數與驗證分數怎麼變,用來判斷多加資料有沒有幫助
兩種圖橫軸不同,回答的問題也不同。
損失曲線 vs 驗證曲線(scikit-learn)
驗證曲線的橫軸是某一個超參數的值,用訓練分數與驗證分數判讀(分數不是損失):兩個分數都低是欠擬合,訓練分數高、驗證分數低是過擬合
損失曲線看的是訓練進度,不是超參數。
訓練損失 vs 驗證損失
訓練損失是訓練過程中模型的損失,驗證損失是模型在驗證集上的損失,Google 詞彙表說明理想上同一筆樣本不應同時出現在訓練集和驗證集
驗證損失開始上升,代表泛化表現變差
判斷過擬合要看驗證損失,訓練損失再低也不代表模型對新資料一樣好。
實際案例
Keras 的 history 物件
model.fit() 回傳的 history 物件記錄訓練過程的損失與指標。用 validation_data 傳入驗證資料,每個 epoch 結束時會另外算出驗證損失與驗證指標,也可以用 validation_split 保留一部分資料當驗證資料(取 fit() 收到的陣列最後一部分樣本,在任何打亂之前切出,只適用 NumPy 資料)。把 history.history 裡的 loss 與 val_loss 畫成折線圖,就是訓練與驗證的損失曲線。
用 EarlyStopping 自動停下來
Keras 的 EarlyStopping 預設監看 val_loss,patience 是連續幾個 epoch 沒有改善就停止(預設 0)。restore_best_weights 預設是 False,停下來時用的是訓練最後一步的權重,要設成 True 才會還原到監看值最好的那個 epoch。
看曲線檢查學習率
Google 機器學習詞彙表提到,學習率設得太低訓練會花太久,設得太高梯度下降常常難以收斂。損失下降得非常慢,或遲遲無法收斂時,學習率是可以先檢查的超參數之一。
演算法與應用
記錄:訓練時每個 epoch(或每隔固定的迭代次數)記下訓練損失,並在驗證資料上算出驗證損失。
畫圖:橫軸是迭代次數或 epoch,縱軸是損失,訓練與驗證兩條線畫在同一張圖,Google 稱這種圖為泛化曲線。
判讀:先快速下降、再慢慢下降、最後趨於平坦,是 Google 詞彙表描述的典型損失曲線。訓練損失持續下降、驗證損失最後明顯高於訓練損失,表示可能過擬合。Google 詞彙表也列出幾種可能造成欠擬合的原因,例如訓練的 epoch 太少或學習率太低、正則化率太高。
行動:過擬合時可以用提前終止,在驗證損失開始上升時停止訓練,訓練太久本身就可能造成過擬合。Keras 的 EarlyStopping 可以自動監看 val_loss。
情境判斷
Q1(直覺題):訓練損失一路下降,驗證損失在第 20 個 epoch 之後開始上升,代表什麼?該怎麼做?
泛化表現開始變差,是過擬合的訊號:模型越來越貼合訓練資料,對沒看過的資料反而變差。可以用提前終止,在驗證損失開始上升時停止訓練,用 Keras 時設 EarlyStopping 監看 val_loss,並把 restore_best_weights 設成 True,還原監看值最好的那一輪權重。
Q2(判斷題):訓練損失已經降得很低,就代表模型訓練好了嗎?
不一定。訓練損失只反映模型在訓練資料上的表現,要一起看驗證損失。驗證損失最後明顯高於訓練損失時,模型可能已經過擬合。
Q3(判斷題):同事給你一張「學習曲線」,橫軸是訓練樣本數,可以拿來決定第幾個 epoch 停止嗎?
不行。橫軸是訓練樣本數的是 scikit-learn 文件裡的學習曲線,用來判斷多加資料有沒有幫助、模型偏向偏差還是變異誤差。要決定第幾個 epoch 停止,要看橫軸是 epoch 的損失曲線。
常見問題
把模型的損失對訓練迭代次數(或 epoch)畫成的圖。Google 機器學習詞彙表指出,它可以畫訓練損失、驗證損失與測試損失,用來判斷模型是否在收斂或過擬合。
把訓練損失與驗證損失畫在同一張圖(Google 稱為泛化曲線)。在 Google 的範例圖中,兩條線一開始相近,後來訓練損失降得比驗證損失低很多,驗證損失最後明顯高於訓練損失,就表示可能過擬合。
做法之一是提前終止:驗證損失開始上升、泛化表現變差時停止訓練。Keras 的 EarlyStopping 預設監看 val_loss,patience 設定可以容忍幾個 epoch 沒有改善,restore_best_weights 預設是 False,設成 True 才會還原監看值最好那個 epoch 的權重。
不一樣。scikit-learn 文件裡的學習曲線橫軸是訓練樣本數,用來判斷多加資料有沒有幫助,以及模型主要受偏差還是變異誤差影響,損失曲線的橫軸則是訓練迭代次數或 epoch,兩者不是同一種圖。
學習率是可以先檢查的超參數之一。Google 機器學習詞彙表提到,學習率太低訓練會花太久,太高梯度下降常常難以收斂。詞彙表也列出幾種可能造成欠擬合的原因,例如訓練的 epoch 太少或學習率太低、正則化率太高,以及深度神經網路的隱藏層太少。
相關術語
來源
其他格式:Markdown 版本