完整定義
層歸一化 (Layer Normalization) 是一種在深度學習中使用的正規化技術,它在每個訓練批次中,對特定層的所有神經元的激活值進行歸一化。與批次歸一化 (Batch Normalization) 不同,層歸一化是在每個樣本的層級上進行計算,而不是在整個批次上。這使得它在小批次大小或序列資料等情況下更有效。
白話說明
你有沒有遇過模型一換批次大小就開始不穩?
你可以把層歸一化想成,每一層都先把自己的數值拉回同一個量尺。
它其實就是在單一樣本的層內做標準化,讓特徵值不要忽大忽小。
這樣訓練會更穩,對小批次、序列資料和 Transformer 特別有用。
記住這句
看自己這一筆,不看整批別人。
比喻:層歸一化就像一個班級的老師,每次考試後,他不是看你絕對分數,而是把你這科的分數跟班上同學的平均分和分佈做比較 -- 這樣即使題目難易度不同,也能公平地評估每個人的表現,讓學習更穩定。
容易混淆
層歸一化 vs 批次正規化
層歸一化看單一樣本的特徵維度,批次正規化看一整批樣本的同一個特徵。
批次越小時,批次正規化越容易抖,層歸一化通常比較穩。
層歸一化 vs 權重正規化
層歸一化是在整理輸出數值,權重正規化是在限制參數大小。
一個管資料流過去的樣子,一個管模型裡的權重本身。
最關鍵的區別: 一個看自己這一筆,一個看同批別人。
實際案例
Transformer 文字模型
長句子進模型時,層歸一化先把每層輸出的尺度穩住,模型比較不容易在訓練中途亂跳。
小批次語音訓練
當 GPU 記憶體不夠,只能用很小的 batch,層歸一化通常比批次正規化更可靠。
演算法與應用
它會先算出單一樣本在某一層的平均值和變異數,再把數值標準化到較穩定的範圍。
之後再加上可學習的縮放和偏移參數,讓模型保留需要的表達能力。
在序列模型、語言模型和需要變動批次大小的訓練流程裡很常見。
情境判斷
Q1(直覺題): 如果 batch size 很小,哪種正規化通常比較不容易受影響?
層歸一化通常更穩,因為它不依賴整個批次的統計量。
Q2(判斷題): 如果模型是大批次影像分類,層歸一化一定比批次正規化更好嗎?
不一定,還是要看模型架構和資料型態,影像任務很多時候批次正規化仍然很有競爭力。
常見問題
差在統計量的來源。層歸一化看單一樣本內的特徵,批次正規化看同一個 batch 裡的樣本。
因為 Transformer 常處理序列資料,batch 大小也不一定穩定,層歸一化比較不受這些條件影響。
通常不會。它多了一些統計計算,但和訓練穩定性比起來,成本多半值得。
相關術語
來源
這個術語目前沒有標註外部來源。
其他格式:Markdown 版本