AITerms 登入
模型訓練最佳化深度學習

學習率排程(Learning Rate Scheduling)是什麼?

學習率排程是一種在訓練過程中調整學習率的技術,旨在加速收斂、避免震盪,並提高模型的泛化能力。常見方法包括步階衰減、指數衰減和餘弦退火。

完整定義

學習率排程 (Learning Rate Scheduling) 是一種在訓練神經網路時,隨著訓練進度調整學習率的技術。固定的學習率可能導致訓練初期收斂緩慢,或訓練後期在最優解附近震盪。學習率排程旨在通過動態調整學習率,以加速收斂、避免局部最小值,並提高模型的泛化能力。

白話說明

你有沒有發現,模型不是一路用同一種力道訓練最順?

你可以把學習率排程想成,訓練不同階段用不同速度走路。

它其實就是在訓練過程中動態調整學習率的策略。

前期走快一點找方向,後期走慢一點才比較不會跨過頭。

記住這句

前快後慢,模型比較容易走進好位置。

比喻:學習率排程就像你學騎腳踏車 -- 一開始你可能需要大膽地快速踩幾下(較高的學習率)來保持平衡和前進,但當你快到目的地或需要精準控制時,就會慢慢減速(較低的學習率),以便更穩定地停下來。

容易混淆

學習率排程 vs 固定學習率

固定學習率從頭用到尾,排程會依訓練階段改變步伐。

一個不變,一個會看情況調整。

學習率排程 vs 提前終止

排程是調學習率,提前終止是決定什麼時候停訓練。

一個管怎麼走,一個管何時收工。

最關鍵的區別: 排程在調步伐,提前終止在決定停不停。

實際案例

大型模型訓練

前期用較高學習率快速摸清方向,後期慢慢降下來,能讓收斂更平滑。

小資料微調

在小資料微調時,用排程把學習率逐步降低,能減少把原模型弄壞的風險。

演算法與應用

常見排程包括 step decay、exponential decay、cosine decay 和 warmup。

這些方法的共同目標,是讓訓練前期有足夠探索,後期有更細的修正。

在長時間訓練、資料量大或需要高穩定性的任務裡特別常見。

情境判斷

Q1(直覺題): 模型前期學得很快,後期卻一直震盪,哪個工具最像解法?

學習率排程,因為後期把步伐調小,通常能讓收斂更細。

Q2(判斷題): 所有任務都要用複雜的學習率排程嗎?

不一定,資料少或問題簡單時,固定學習率也可能夠用。

常見問題

出現在這些考古題

官方公告試題的逐題解析裡,這 2 題把學習率排程列為延伸術語。

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本