AITerms 登入
機器學習模型訓練最佳化

L2 正則化(L2 Regularization (Ridge))是什麼?

L2 正則化是一種機器學習技術,透過在損失函數中加入權重平方和的懲罰項,促使模型權重縮小,有效降低模型複雜度並避免過度擬合,提升泛化能力。

完整定義

L2 正則化是一種在機器學習模型訓練中常用的技巧,用於防止模型過度擬合。它透過在損失函數中加入模型權重的平方和項,懲罰較大的權重值,從而使模型更加簡單、泛化能力更強。L2 正則化又稱為 Ridge 迴歸,能有效降低模型對訓練資料的敏感度,提升在未知資料上的表現。

白話說明

模型為了追求訓練分數,權重一路變大,為什麼新資料反而更容易出錯?

你可以把它想成幫模型踩煞車,讓所有權重都收斂一點,不要太極端。

L2 正則化是一種機器學習技術,透過在損失函數中加入權重平方和的懲罰項,促使模型權重縮小,有效降低模型複雜度並避免過度擬合,提升泛化能力。

記住這句

所有權重都縮小,但不刪光。

比喻:L2 正則化就像給跑得太快的賽車(模型)踩剎車 -- 它會讓賽車在彎道時不敢衝太快(權重不要太大),避免因為過度自信(過度擬合)而衝出跑道。

容易混淆

L1 正則化

L2 是整體縮小權重,L1 是把少數不重要的權重直接歸零。

Dropout

Dropout 是訓練時隨機關掉部分神經元,L2 是在損失函數裡直接罰大權重。

實際案例

房價預測

坪數、樓層、屋齡等特徵很多時,L2 可以避免某些係數被放得太大。

神經網路訓練

參數很多時,weight decay 能讓模型不那麼依賴少數極端權重。

演算法與應用

L2 懲罰的是權重平方和,權重越大,懲罰越重。它的效果是讓模型更平滑、泛化更好,特別適合特徵很多但彼此相關的情況。和 L1 比起來,L2 比較保守,通常不會把特徵整個清掉。

iPAS 考題

出題方向: 這類概念常考定義、差異和實務用法。

題目 關於 L2 正則化,下列何者正確?

答案:B。 L2 正則化透過懲罰權重平方和,讓所有權重趨向較小值。它不是把權重壓成零,也不是只適用於神經網路。

常見問題

出現在這些考古題

官方公告試題的逐題解析裡,這 5 題把L2 正則化列為延伸術語。

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本