完整定義
學習率是一種超參數,用於控制模型在每次迭代中更新權重的幅度。它決定了梯度下降算法的步長,影響模型收斂的速度和最終的準確性。過大的學習率可能導致模型震盪或發散,而過小的學習率則可能導致收斂速度過慢或陷入局部最小值。因此,選擇合適的學習率對於模型訓練至關重要。
白話說明
你有沒有看過模型明明在學,卻不是走太快就是走太慢?
你可以把學習率想成,模型每次修正時跨出去的步伐大小。
它其實就是控制參數更新幅度的超參數。
步伐太大會衝過頭,太小又會學很久還看不到成果。
記住這句
步伐剛剛好,模型才走得到終點。
比喻:學習率就像你開車去一個陌生地方的油門深淺 -- 油門踩太深(學習率太大)可能會衝過頭,甚至撞牆;油門踩太淺(學習率太小)則會龜速前進,花很久才到目的地,甚至還沒到油就沒了。
容易混淆
學習率 vs 迭代次數
學習率決定每一步跨多大,迭代次數決定總共要走幾步。
一個管速度,一個管路程。
學習率 vs 批次大小
批次大小決定每次看多少資料,學習率決定看完後改多少。
資料多不代表步伐大,兩者是不同控制鈕。
最關鍵的區別: 一個管步幅,一個管步數。
實際案例
影像分類訓練
如果學習率太高,損失可能上下震盪,準確率一直上不去。
微調大模型
在微調時常會用更小的學習率,避免把原本學好的知識整個沖掉。
演算法與應用
在梯度下降裡,學習率決定參數更新的幅度,更新太猛會跳過最佳點,太小則收斂很慢。
實務上會搭配 warmup、衰減或自適應優化器,讓前期和後期的步伐不同。
看訓練曲線時,學習率常是第一個要懷疑的超參數。
中英對照與常見說法
- 說法
- 學習率
- 出現場合
- 中文正式用語
- 說法
- Learning Rate
- 出現場合
- 英文原名
- 說法
- LR
- 出現場合
- 程式碼與論文裡最常見的縮寫
- 說法
- 學習速率、步長(step size)
- 出現場合
- 意思相同,最佳化理論多用「步長」
太大與太小分別會怎樣
學習率是深度學習裡影響最大的單一超參數。模型不收斂時,先調它,再調其他東西。
- 學習率
- 太大
- 症狀
- 每一步跨過最低點,來回震盪甚至發散
- 損失曲線長相
- 上下跳動,或直接變成 NaN
- 學習率
- 略大
- 症狀
- 下降快但停在一個較差的位置不動
- 損失曲線長相
- 快速下降後變成一條平的高原
- 學習率
- 剛好
- 症狀
- 穩定下降並收斂
- 損失曲線長相
- 平滑往下,後期趨緩
- 學習率
- 太小
- 症狀
- 收斂極慢,容易卡在局部低點或鞍點
- 損失曲線長相
- 幾乎水平的緩降線
排程與暖身
固定學習率很少是最好的選擇。訓練初期需要大步快速接近,後期需要小步精細收斂。常見排程有:
步階衰減(step decay):每過固定輪數乘以一個係數(例如每 30 個 epoch 乘 0.1)。最直觀。
餘弦退火(cosine annealing):依餘弦曲線從初始值平滑降到接近 0。近年訓練大模型的主流選擇。
暖身(warmup):前幾百到幾千步從很小的值線性升到目標值,之後才開始衰減。目的是避免訓練最初期參數還很亂的時候,一個大步就把模型帶壞。批次大小很大或用 Transformer 架構時,暖身幾乎是必需的。
自適應最佳化器不等於不用調學習率。Adam 會依梯度歷史調整每個參數的有效步長,但全域學習率仍然要設,設錯一樣不收斂。
找起始值的實用做法:用學習率範圍測試(LR range test),讓學習率從很小指數式增加,畫出損失對學習率的曲線,取損失下降最陡那一段的值。比盲猜快得多。
情境判斷
Q1(直覺題): 訓練時損失忽上忽下,哪個設定最值得先檢查?
先看學習率,因為步伐太大常會讓更新一直跳過頭。
Q2(判斷題): 學習率設得很小,一定比較安全嗎?
不一定,太小會讓模型幾乎不動,訓練時間拉長,甚至卡在不理想的位置。
常見問題
模型可能會在最佳點附近來回震盪,嚴重時還會發散。
收斂速度會很慢,訓練很久卻沒什麼進展。
通常要靠實驗,先看損失曲線和驗證集表現,再慢慢調整。
出現在這些考古題
官方公告試題的逐題解析裡,這 2 題把學習率列為延伸術語。
相關術語
來源
這個術語目前沒有標註外部來源。
其他格式:Markdown 版本