---
title: "學習率調度策略（Learning Rate Schedule）"
slug: learning-rate-schedule
language: zh-TW
source: https://aiterms.tw/terms/learning-rate-schedule
updated_at: 2026-07-04
tags: [模型訓練, 最佳化, 神經網路, source:ipas]
ipas_term: true
---

# 學習率調度策略（Learning Rate Schedule）

根據訓練進度動態調整學習率的策略，能幫助模型在初期快速收斂，並在後期穩定尋找全域理想解。

## 完整說明

學習率排程是一種在神經網路訓練過程中自動調整學習率大小的策略，用於平衡訓練初期的快速收斂需求與後期的精確微調需求，能夠有效避免模型陷入局部理想解並提升最終表現，常見應用包括各類深度學習模型的影像辨識與自然語言處理任務。

## iPAS 考試出題分析

屬於未分類考範圍。

## 常見問題

### 為什麼自適應優化器（如 Adam）還需要搭配學習率排程？

雖然 Adam 優化器能夠根據歷史梯度的移動平均來自動調整每個參數的相對更新幅度，有效解決不同維度間尺度不一的問題，但它缺乏對整體訓練總進度的宏觀掌控能力。自適應優化器內部調整的是相對比例，而外部的學習率排程控制的則是絕對的整體步伐上限。實務上，為 Adam 加上餘弦衰減或步階衰減機制，能有效引導模型在後期進行更細緻的局部微調，往往能獲得比單獨使用預設 Adam 更好的泛化表現。

### 如果訓練過程中損失函數突然停滯不前，排程器可以怎麼幫助？

當損失函數在訓練途中陷入高原期，這通常意味著模型當前的更新步伐過大，導致其在局部區域來回跳躍而無法繼續下探。此時可以採用基於效能監控的自適應排程策略。系統一旦偵測到驗證集指標連續數個週期沒有改善，就會自動將學習率調降（例如設定為原本的一半）。這種機制能強制模型縮小參數空間的探索範圍，有助於突破當前的停滯瓶頸並找到更深且平穩的理想解。

### 餘弦退火排程相較於傳統的步階衰減有什麼優勢？

傳統的步階衰減會在特定的訓練節點瞬間大幅降低學習率，這會導致訓練曲線出現不連續的突變現象，且需要耗費大量時間反覆測試合適的觸發時機。相較之下，餘弦退火排程提供了一種平滑且連續的非線性衰減曲線，能夠更自然地契合模型逐漸收斂的節奏。此外，它通常只需要設定總訓練步數與基礎學習率，大幅減少了手動進行超參數調整的負擔，因此在現代深度學習任務中被廣泛應用。

---

來源：https://aiterms.tw/terms/learning-rate-schedule
快查頁：https://aiterms.tw/terms/learning-rate-schedule
最後更新：2026/07/04
深度解說：https://aiterms.tw/learning/what-is-learning-rate-schedule