AITerms 登入
深度學習神經網路模型訓練

層歸一化(Layer Normalization)是什麼?

層歸一化是一種神經網路正規化技術,它在每個層級對所有神經元的激活值進行歸一化,以加速訓練並提高泛化能力。

完整定義

層歸一化 (Layer Normalization) 是一種在深度學習中使用的正規化技術,它在每個訓練批次中,對特定層的所有神經元的激活值進行歸一化。與批次歸一化 (Batch Normalization) 不同,層歸一化是在每個樣本的層級上進行計算,而不是在整個批次上。這使得它在小批次大小或序列資料等情況下更有效。

白話說明

你有沒有遇過模型一換批次大小就開始不穩?

你可以把層歸一化想成,每一層都先把自己的數值拉回同一個量尺。

它其實就是在單一樣本的層內做標準化,讓特徵值不要忽大忽小。

這樣訓練會更穩,對小批次、序列資料和 Transformer 特別有用。

記住這句

看自己這一筆,不看整批別人。

比喻:層歸一化就像一個班級的老師,每次考試後,他不是看你絕對分數,而是把你這科的分數跟班上同學的平均分和分佈做比較 -- 這樣即使題目難易度不同,也能公平地評估每個人的表現,讓學習更穩定。

容易混淆

層歸一化 vs 批次正規化

層歸一化看單一樣本的特徵維度,批次正規化看一整批樣本的同一個特徵。

批次越小時,批次正規化越容易抖,層歸一化通常比較穩。

層歸一化 vs 權重正規化

層歸一化是在整理輸出數值,權重正規化是在限制參數大小。

一個管資料流過去的樣子,一個管模型裡的權重本身。

最關鍵的區別: 一個看自己這一筆,一個看同批別人。

實際案例

Transformer 文字模型

長句子進模型時,層歸一化先把每層輸出的尺度穩住,模型比較不容易在訓練中途亂跳。

小批次語音訓練

當 GPU 記憶體不夠,只能用很小的 batch,層歸一化通常比批次正規化更可靠。

演算法與應用

它會先算出單一樣本在某一層的平均值和變異數,再把數值標準化到較穩定的範圍。

之後再加上可學習的縮放和偏移參數,讓模型保留需要的表達能力。

在序列模型、語言模型和需要變動批次大小的訓練流程裡很常見。

情境判斷

Q1(直覺題): 如果 batch size 很小,哪種正規化通常比較不容易受影響?

層歸一化通常更穩,因為它不依賴整個批次的統計量。

Q2(判斷題): 如果模型是大批次影像分類,層歸一化一定比批次正規化更好嗎?

不一定,還是要看模型架構和資料型態,影像任務很多時候批次正規化仍然很有競爭力。

常見問題

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本