完整定義
學習率排程 (Learning Rate Scheduling) 是一種在訓練神經網路時,隨著訓練進度調整學習率的技術。固定的學習率可能導致訓練初期收斂緩慢,或訓練後期在最優解附近震盪。學習率排程旨在通過動態調整學習率,以加速收斂、避免局部最小值,並提高模型的泛化能力。
白話說明
你有沒有發現,模型不是一路用同一種力道訓練最順?
你可以把學習率排程想成,訓練不同階段用不同速度走路。
它其實就是在訓練過程中動態調整學習率的策略。
前期走快一點找方向,後期走慢一點才比較不會跨過頭。
記住這句
前快後慢,模型比較容易走進好位置。
比喻:學習率排程就像你學騎腳踏車 -- 一開始你可能需要大膽地快速踩幾下(較高的學習率)來保持平衡和前進,但當你快到目的地或需要精準控制時,就會慢慢減速(較低的學習率),以便更穩定地停下來。
容易混淆
學習率排程 vs 固定學習率
固定學習率從頭用到尾,排程會依訓練階段改變步伐。
一個不變,一個會看情況調整。
學習率排程 vs 提前終止
排程是調學習率,提前終止是決定什麼時候停訓練。
一個管怎麼走,一個管何時收工。
最關鍵的區別: 排程在調步伐,提前終止在決定停不停。
實際案例
大型模型訓練
前期用較高學習率快速摸清方向,後期慢慢降下來,能讓收斂更平滑。
小資料微調
在小資料微調時,用排程把學習率逐步降低,能減少把原模型弄壞的風險。
演算法與應用
常見排程包括 step decay、exponential decay、cosine decay 和 warmup。
這些方法的共同目標,是讓訓練前期有足夠探索,後期有更細的修正。
在長時間訓練、資料量大或需要高穩定性的任務裡特別常見。
情境判斷
Q1(直覺題): 模型前期學得很快,後期卻一直震盪,哪個工具最像解法?
學習率排程,因為後期把步伐調小,通常能讓收斂更細。
Q2(判斷題): 所有任務都要用複雜的學習率排程嗎?
不一定,資料少或問題簡單時,固定學習率也可能夠用。
常見問題
讓模型在訓練前期學得快、後期收斂得更細。
就是一開始先用較小的學習率,避免模型剛起步時更新過猛。
排程在改步伐大小,動量在改更新方向的慣性,兩者可以一起用。
出現在這些考古題
官方公告試題的逐題解析裡,這 2 題把學習率排程列為延伸術語。
相關術語
來源
這個術語目前沒有標註外部來源。
其他格式:Markdown 版本