AITerms 登入
深度學習模型訓練最佳化

預熱訓練(Warmup)是什麼?

預熱訓練是一種在模型訓練初期,逐步提高學習率的策略,旨在穩定訓練過程,避免初期梯度爆炸或震盪。

完整定義

預熱訓練是一種在深度學習模型訓練初期使用的學習率調整策略。它並非直接使用設定好的學習率,而是從一個較小的學習率開始,逐步增加到目標學習率。這個過程有助於模型更穩定地學習,避免訓練初期出現梯度爆炸或震盪等問題,提升模型最終的效能。

白話說明

你有沒有一開始太用力,結果整個步調都亂掉?

你可以把預熱訓練想成,模型剛開始先慢慢加速,等狀態穩了再進入正常訓練速度。

它重要,是因為一開始參數還沒站穩,學習率太大很容易讓訓練發散或震盪。

記住這句

先慢慢加速,模型比較不會摔倒。

比喻:預熱訓練就像運動前的暖身 -- 剛開始慢慢動,讓身體逐漸適應,避免一下子就劇烈運動造成受傷;模型訓練也是,先用小學習率慢慢「熱身」,讓模型穩定下來。

容易混淆

預熱訓練 vs 學習率排程

學習率排程是整段訓練中學習率怎麼變,預熱訓練只是前面那一小段特別慢慢升高的設計。

預熱訓練 vs 早停

早停是訓練到一半發現效果變差就停下來,預熱訓練是讓開頭更穩,不是提前結束訓練。

預熱訓練 vs 固定小學習率

固定小學習率是整段都慢,預熱訓練是先慢後快,之後再接正常排程。

最關鍵的區別:預熱只管開頭,目的在穩住訓練起跑。

實際案例

大型語言模型微調

新模型一開始參數分布還不穩,如果直接用大學習率,loss 可能會猛跳。先做一段 warmup,常能讓訓練曲線更平順。

影像模型接續訓練

你從預訓練權重接著訓練,資料量又不大,開頭使用 warmup 可以降低一開始把原本有用的權重拉壞的機率。

演算法與應用

Warmup 的核心不是多訓練,而是控制前期更新幅度。

常見做法有線性 warmup、指數 warmup,或先 warmup 再接 cosine decay。

它常和大 batch、AdamW、Transformer 一起出現,因為這些設定在訓練初期比較容易不穩。

情境判斷

Q1(直覺題): 你發現模型在前幾百步 loss 一直亂跳,先想到 warmup 合理嗎?

合理,因為 warmup 就是用來穩住開頭。

Q2(判斷題): 如果你訓練的是小模型,資料也少,warmup 一定有幫助嗎?

不一定。warmup 不是萬能,模型大小、資料量和學習率都會影響它值不值得加。

常見問題

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本