AITerms 登入
iPAS 中級 深度學習模型訓練神經網路

批次正規化(Batch Normalization)是什麼?

批次正規化是一種標準化技巧,針對每層網路的輸入進行調整,使訓練過程更穩定,並允許使用較大的學習率

完整定義

批次正規化是一種用於加速深度神經網路訓練的技術。它通過在每個訓練批次中對激活函數的輸入進行標準化,來減少內部協變量偏移,從而提高模型的穩定性和收斂速度。批次正規化能夠讓模型使用更高的學習率,並減少對初始化參數的敏感度。在 iPAS 考試中,批次正規化是深度學習模型訓練中重要的概念,需要理解其原理和應用。

白話說明

深度網路訓練時忽快忽慢,能不能先把每層輸入穩住?

你可以把批次正規化想成幫每層輸入做整理,讓數值分佈不要飄太大。

它能讓訓練更穩,學習率通常也可以設得更大一點。

記住這句

先把每層數值穩住,訓練就比較走得動

比喻:批次正規化就像學生考試前的「暖身操」-- 把輸入的資訊都調整到差不多的狀態,讓神經網路學習起來更穩定、更有效率,就像選手上場前熱身一樣。

容易混淆

批次正規化 vs Layer Norm?

批次正規化:在批次維度上標準化特徵

Layer Norm:在特徵維度上標準化

最關鍵的區別:BN 看批次,LN 看單筆樣本的特徵

批次正規化 vs 正則化?

批次正規化:主要穩定訓練

正則化:主要抑制過擬合

最關鍵的區別:BN 有時會順便帶來正則效果,但不是它的唯一目的

批次正規化 vs Dropout?

批次正規化:訓練和推論時行為不同

Dropout:訓練時隨機關掉部分神經元

最關鍵的區別:BN 會用移動平均,Dropout 則是隨機遮罩

實際案例

深層影像模型

在很多卷積網路裡,BN 讓訓練不容易發散,收斂也更快

大學習率訓練

團隊想把學習率調高以加快訓練,BN 幫助模型在較大步伐下仍維持穩定

算法與應用

重點
訓練
你要看什麼
用批次均值與方差標準化
為什麼重要
讓中間層輸入更穩定
重點
推論
你要看什麼
用移動平均統計量
為什麼重要
避免每次推論結果飄動
重點
效果
你要看什麼
穩定、加速、常帶正則感
為什麼重要
讓深層網路較好訓練

iPAS 考題

Q:批次正規化在推論階段怎麼運作?

會使用訓練時累積的移動平均統計量,而不是當下批次的統計。

Q:批次正規化的主要作用是什麼?

穩定訓練過程、改善收斂速度,並讓較大的學習率更容易使用。

情境判斷

Q1:深層模型訓練常發散,BN 有沒有可能幫忙?

有,因為它能讓中間層分佈更穩定

Q2:如果推論時還在用當下批次統計而不是訓練統計,會有什麼問題?

結果會不穩,因為單筆或小批次的統計不可靠

常見問題

出現在這些考古題

官方公告試題的逐題解析裡,這 3 題把批次正規化列為延伸術語。

立即測驗

想測試你對 批次正規化 的掌握程度?用考古題作答

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

參考來源:en.wikipedia.org

考試範圍:iPAS AI 應用規劃師評鑑內容範圍參考(115.02 更新),經濟部產業人才能力鑑定,實際考試內容以官方公告為準。

其他格式:Markdown 版本