DNN 收斂不穩定(有時過快有時過慢),應調整什麼?
iPAS 考題解析
DNN 收斂不穩定(有時過快有時過慢),應調整什麼?
- A. 神經元的輸出
- B. 梯度的變化量
- C. Learning Rate(學習率) ✓ 正確答案
- D. 權重的初始值
詳細解析
學習率(Learning Rate)太大→收斂不穩定(震盪、跳過最優解);太小→收斂太慢。調整學習率(或用自適應學習率如 Adam)是穩定訓練的首要方法。
難度:★★★
DNN 收斂不穩定(有時過快有時過慢),應調整什麼?
DNN 收斂不穩定(有時過快有時過慢),應調整什麼?
學習率(Learning Rate)太大→收斂不穩定(震盪、跳過最優解);太小→收斂太慢。調整學習率(或用自適應學習率如 Adam)是穩定訓練的首要方法。