iPAS 考題解析在深度學習中,Adam 優化器(Adaptive Moment Estimation)相比標準 SGD 的主要改進為何?
你的作答
在題目頁作答不會存進學習紀錄,想留下紀錄可以到題庫練習。
解析
正確答案:B. Adam 結合動量(Momentum)和自適應學習率,對不同參數使用不同的學習率
Adam 優化器結合了動量(一階矩估計,累積梯度方向)和 RMSProp(二階矩估計,自適應學習率),能對不同參數自動調整學習率,在稀疏梯度和非平穩目標函數上表現尤佳。
每個選項為什麼對或錯
-
A Adam 使用二階梯度資訊加速收斂 錯誤選項
Adam 使用一階和二階矩估計,不是直接使用二階梯度(Hessian)。
-
B Adam 結合動量(Momentum)和自適應學習率,對不同參數使用不同的學習率 正解
Adam 結合動量和自適應學習率,此為正確描述。
-
C Adam 透過隨機丟棄神經元防止過擬合 錯誤選項
丟棄神經元是 Dropout 的功能,非 Adam。
-
D Adam 透過批次標準化穩定訓練過程 錯誤選項
批次標準化是 Batch Normalization 的功能,非 Adam。
答案、題目或解析有問題?回報這題