在深度學習中,Adam 優化器(Adaptive Moment Estimation)相比標準 SGD 的主要改進為何?

iPAS 考題解析

在深度學習中,Adam 優化器(Adaptive Moment Estimation)相比標準 SGD 的主要改進為何?

  • A. Adam 使用二階梯度資訊加速收斂
  • B. Adam 結合動量(Momentum)和自適應學習率,對不同參數使用不同的學習率 ✓ 正確答案
  • C. Adam 透過隨機丟棄神經元防止過擬合
  • D. Adam 透過批次標準化穩定訓練過程

詳細解析

Adam 優化器結合了動量(一階矩估計,累積梯度方向)和 RMSProp(二階矩估計,自適應學習率),能對不同參數自動調整學習率,在稀疏梯度和非平穩目標函數上表現尤佳。

出題年份:114 難度:★★☆