批次正規化 vs 層歸一化
Batch Normalization vs Layer Normalization
批次正規化 側重 批次正規化是一種標準化技巧，針對每層網路的輸入進行調整，使訓練過程更穩定，並允許使用較大的學習率，而 層歸一化 側重 層歸一化是一種神經網路正規化技術，它在每個層級對所有神經元的激活值進行歸一化，以加速訓練並提高泛化能力。。
逐項比較
| 項目 | 批次正規化 | 層歸一化 |
|---|---|---|
| 一句定義 | 批次正規化是一種標準化技巧，針對每層網路的輸入進行調整，使訓練過程更穩定，並允許使用較大的學習率 | 層歸一化是一種神經網路正規化技術，它在每個層級對所有神經元的激活值進行歸一化，以加速訓練並提高泛化能力。 |
| 比喻 | 批次正規化就像學生考試前的「暖身操」-- 把輸入的資訊都調整到差不多的狀態，讓神經網路學習起來更穩定、更有效率，就像選手上場前熱身一樣。 | 層歸一化就像一個班級的老師，每次考試後，他不是看你絕對分數，而是把你這科的分數跟班上同學的平均分和分佈做比較 -- 這樣即使題目難易度不同，也能公平地評估每個人的表現，讓學習更穩定。 |
| 常見標籤 | 深度學習、模型訓練、神經網路、最佳化 | 深度學習、神經網路、模型訓練、最佳化、自然語言處理、電腦視覺 |
| iPAS 關聯度 | 未知 | 未知 |
| 考生最常問 | BN 一定會提升準確率嗎？ | 層歸一化和批次正規化最大的差別是什麼？ |