梯度累積（Gradient Accumulation）是什麼？

多個訓練步驟內累加梯度，最後進行一次參數更新，有效增加批量大小而不增加記憶體占用，用於訓練記憶體受限的大型模型。

核心概念

Gradient Accumulation 的核心思想是：參數更新的依據是梯度，而梯度本身可以分步累加。標準訓練中，一個批次計算梯度後立即更新。在梯度累積中，多個小批次的梯度先累加，最後再用累加的梯度進行一次大更新。

這個設計利用了梯度的可加性：G_total = G_batch1 + G_batch2 + ... + G_batchN。用累加梯度更新參數 θ = θ - η * G_total，等價於用大批量大小訓練的一個梯度步。

梯度累積特別適合記憶體受限的場景。例如，要訓練批量 1024 的大模型，但 GPU 記憶體只容納批量 256。此時可以分 4 次前向-反向傳播，每次用批量 256，累積 4 個梯度，最後用累加梯度更新一次，等效於批量 1024 訓練。

運作原理

Gradient Accumulation 的實現步驟：

1. 初始化梯度累積器 grad_accum = 0
2. 設定累積步數 N（例如 4）
3. 在循環中執行 N 次迭代： a. 前向傳播：loss = model(batch) b. 反向傳播：loss.backward() c. 梯度累積：grad_accum += model.parameters().grad（或自動完成）
4. 執行優化器步驟：optimizer.step() 更新所有參數
5. 清空梯度：optimizer.zero_grad()
6. 重複步驟 3-5

在 PyTorch 中的實現簡單例子：

accumulation_steps = 4
for i, (inputs, targets) in enumerate(dataloader):
    outputs = model(inputs)
    loss = criterion(outputs, targets) / accumulation_steps
    loss.backward()
    if (i + 1) % accumulation_steps == 0:
        optimizer.step()
        optimizer.zero_grad()

核心注意事項：

• 損失除以累積步數，確保梯度量級正確
• 優化器步驟只在累積完成後執行
• 梯度清零也只在累積完成後執行

實際應用

Gradient Accumulation 在大規模模型訓練中廣泛應用。Transformer 訓練（BERT、GPT）常用梯度累積來模擬大批量。例如，預訓練 BERT 時，有效批量可能是 32768，但單個 GPU 可能只容納 256。通過梯度累積 128 步，可以達到大批量的效果。

在自然語言處理中，序列長度會直接影響記憶體占用。長序列模型（如全文檢索）常用梯度累積來維持大批量同時保持長序列。

在計算機視覺中，訓練高分辨率模型（如檢測器）時，單個高分辨率圖片占用大量記憶體。梯度累積讓研究者能在消費級 GPU 上訓練這些模型。

在分布式訓練中，梯度累積可與數據並行結合，進一步提升有效批量。Horovod 和 PyTorch Distributed 都支持梯度累積，使其成為大規模訓練的標準工具。

微調場景中，梯度累積也很有用。預訓練模型常用大批量訓練，微調時保持相同的有效批量可以穩定調整過程。

常見誤區

誤區一：認為梯度累積可以完全替代增加批量大小。梯度累積確實模擬了大批量，但訓練時間會增加（需要多次前向-反向傳播）。實際有效批量相同，但計算時間成比例增加。

誤區二：在梯度累積時忘記調整損失或梯度大小。若不除以累積步數，梯度會被放大，導致訓練不穩定。同樣，如果使用梯度剪裁，應在累積後進行。

誤區三：認為梯度累積會改變最終模型性能。實際上，若超參數調整得當，梯度累積應該不改變最終性能，只改變記憶體使用和訓練速度。

與相關技術的比較

• Gradient Accumulation vs 批量大小增加：增加批量直接提供大批量梯度，但需要更多記憶體。梯度累積通過時間換空間，達到類似效果。

• Gradient Accumulation vs 梯度檢查點：梯度檢查點重新計算激活值而非儲存，也能節省記憶體。兩者可結合：梯度檢查點降低記憶體，梯度累積進一步增加有效批量。

• Gradient Accumulation vs 混合精度：混合精度使用 FP16 加速計算，梯度累積通過延遲更新增加有效批量。兩者互補，可同時應用。

• Gradient Accumulation vs 優化器狀態分片（ZeRO）：ZeRO 將優化器狀態分片存儲在多 GPU 上，梯度累積在單個設備上增加有效批量。在分布式訓練中常結合使用。