隨機丟棄 vs 權重衰減
Dropout vs Weight Decay
隨機丟棄 側重 隨機丟棄是一種訓練技巧,透過隨機關閉部分神經元,避免網路過度依賴單一路徑,提升模型的泛化能力,而 權重衰減 側重 「權重衰減」是深度學習正則化技術,透過懲罰過大權重,防止模型過度擬合,提升泛化能力。。
逐項比較
| 項目 | 隨機丟棄 | 權重衰減 |
|---|---|---|
| 一句定義 | 隨機丟棄是一種訓練技巧,透過隨機關閉部分神經元,避免網路過度依賴單一路徑,提升模型的泛化能力 | 「權重衰減」是深度學習正則化技術,透過懲罰過大權重,防止模型過度擬合,提升泛化能力。 |
| 常見標籤 | 深度學習、模型訓練、神經網路、最佳化 | 深度學習、模型訓練、最佳化、神經網路 |
| iPAS 關聯度 | 未知 | 未知 |
| 考生最常問 | 隨機丟棄如何影響模型的訓練速度? | 權重衰減與L2正則化有何不同? |