什麼是 預熱訓練（Warmup）？

預熱訓練是一種在模型訓練初期，逐步提高學習率的策略，旨在穩定訓練過程，避免初期梯度爆炸或震盪。

核心概念

預熱訓練（Warmup）的核心概念是在模型訓練的初期階段，避免使用過大的學習率，而是採用一個較小的學習率，並在一定迭代次數或 epoch 內逐步將學習率提升至預設的目標學習率。這樣做的目的是為了讓模型在訓練初期更加穩定，避免由於參數初始化不佳或資料分佈不均等原因導致的梯度爆炸或震盪，從而更好地收斂。

運作原理

預熱訓練的運作原理可以分為以下幾個步驟：

1. 初始化學習率： 設定一個初始學習率，通常是一個很小的值，例如 0.00001。
2. 預熱階段： 在預熱階段，每次迭代或每個 epoch 都會逐步增加學習率。增加的方式可以是線性增加、指數增加或餘弦增加等。
3. 達到目標學習率： 當學習率增加到預設的目標學習率時，預熱階段結束，後續的訓練將使用目標學習率或按照其他學習率調整策略進行。

常見的預熱策略包括：

• 線性預熱： 學習率以線性方式從初始值增加到目標值。
• 指數預熱： 學習率以指數方式從初始值增加到目標值。
• 餘弦預熱： 學習率以餘弦函數的方式從初始值增加到目標值。

數學公式範例 (線性預熱):

假設初始學習率為 lr_initial，目標學習率為 lr_target，預熱步數為 warmup_steps，當前步數為 step，則學習率 lr 的計算公式如下：

lr = lr_initial + (lr_target - lr_initial) * (step / warmup_steps)

實際應用

預熱訓練廣泛應用於各種深度學習模型中，尤其是在以下場景中效果顯著：

• 大型模型訓練： 對於參數量巨大的模型，預熱訓練可以有效避免訓練初期出現不穩定現象。
• 使用自適應學習率優化器： 例如 Adam 或 AdamW 等優化器，預熱訓練可以幫助它們更好地適應資料分佈。
• 遷移學習： 在遷移學習中，預熱訓練可以幫助模型更快地適應新的資料集。
• Transformer 模型： 在 Transformer 模型中，預熱訓練是標準配置，可以顯著提升模型的效能。

程式碼範例 (PyTorch):

python import torch from torch.optim import AdamW from torch.optim.lr_scheduler import LambdaLR

模型和優化器

model = ... # 你的模型 optimizer = AdamW(model.parameters(), lr=1e-7) # 初始學習率設定很小

預熱步數

warmup_steps = 10000

學習率調整函數

def lr_lambda(step): if step < warmup_steps: return step / warmup_steps else: return 1 # 或者其他學習率衰減策略

學習率排程器

scheduler = LambdaLR(optimizer, lr_lambda=lr_lambda)

訓練迴圈

for epoch in range(num_epochs): for step, (inputs, labels) in enumerate(dataloader): # 前向傳播 outputs = model(inputs) loss = criterion(outputs, labels)

    # 反向傳播和優化
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()
    scheduler.step() # 更新學習率

    # 輸出訓練資訊
    print(f'Epoch: {epoch}, Step: {step}, Loss: {loss.item()}, LR: {scheduler.get_last_lr()[0]}')

常見誤區

• 預熱時間過長： 預熱時間過長可能會導致訓練速度變慢，並且可能無法充分利用目標學習率。
• 預熱時間過短： 預熱時間過短可能無法有效避免訓練初期出現的不穩定現象。
• 忽略學習率調整策略： 預熱訓練通常需要與其他學習率調整策略（例如學習率衰減）結合使用，才能達到最佳效果。
• 所有模型都適用： 預熱訓練並非適用於所有模型和資料集，需要根據具體情況進行調整和嘗試。

總之，預熱訓練是一種有效的學習率調整策略，可以幫助深度學習模型更穩定地訓練，並提升模型的效能。但是，需要根據具體情況選擇合適的預熱策略和參數，才能達到最佳效果。

常見問題