AITerms 登入
iPAS 中級 深度學習模型訓練神經網路

隨機丟棄(Dropout)是什麼?

隨機丟棄是一種訓練技巧,透過隨機關閉部分神經元,避免網路過度依賴單一路徑,提升模型的泛化能力

完整定義

隨機丟棄(Dropout)是一種正則化技術,用於防止深度學習模型過擬合。在訓練過程中,它會隨機地將神經網路中的部分神經元暫時關閉,迫使網路學習更具魯棒性的特徵表示。Dropout 能夠有效地減少神經元之間的共適應性,提升模型的泛化能力。在 iPAS 考試中,Dropout 的原理和應用是需要掌握的重點。

白話說明

你怕模型只記住訓練題,不會做新題嗎?

你可以把 隨機丟棄 想成防止模型訓練過頭的護欄。

它其實就是用訓練流程上的控制,讓模型不要只會背題目而不會泛化。

隨機丟棄是一種訓練技巧,透過隨機關閉部分神經元,避免網路過度依賴單一路徑,提升模型的泛化能力。當資料不夠多、模型又很強時,這類方法特別有價值。

記住這句

訓練時隨機關掉一部分神經元,逼模型別偷懶

比喻:Dropout 就像讓學生「蒙眼訓練」 -- 老師會隨機遮住一些學生的眼睛,讓他們不能一直依賴特定同學作弊。這樣一來,每個學生都得自己努力,不能偷懶,最終讓整個班級的抗壓性和應變能力都變強。

容易混淆

vs L1/L2 正則化

L1/L2 正則化像「限制體重」來避免過胖,它會懲罰過大的權重;Dropout 則像「限制食量」來避免挑食,它隨機讓神經元休息,迫使網路學習更穩健的特徵,減少對單一特徵的過度依賴。

實際案例

案例一:隨機丟棄 防止過擬合

模型開始只記訓練資料時,這類方法就能把它拉回來,讓驗證表現不要掉太快。

案例二:隨機丟棄 控制訓練節奏

當驗證損失不再改善,提早停下或隨機丟棄部分神經元,都能讓模型別在錯的方向硬撐。

深入了解

這類方法的共同目標,是讓模型在訓練集和驗證集之間保持平衡

Dropout 是在模型內部做隨機遮罩,Early Stopping 是在訓練流程上踩煞車

Dice Loss 也是一種訓練目標設計,會影響模型把注意力放在哪裡

Dropout 實際上在做什麼

訓練時,每一次前向傳播都隨機把一部分神經元的輸出設成 0,被關掉的神經元這一輪完全不參與計算,也不會被更新。每一批資料關掉的都是不同的一群。

關掉的比例叫 dropout rate,通常寫作 p。全連接層常見設 0.5,卷積層通常低很多,0.1 到 0.2,因為卷積層的參數本來就共享、比較不容易過擬合。

為什麼有效,有兩個角度:

第一,逼模型不要依賴單一神經元。 任何一個神經元隨時可能消失,所以網路必須把資訊分散儲存,不能讓某條路徑獨大。這種現象叫共適應(co-adaptation),dropout 就是在打斷它。

第二,等於在訓練大量共享參數的子網路。 每一次隨機關掉一組神經元,就等於在訓練一個不同的小網路,推論時全部一起用,效果類似整體學習(ensemble),而成本只有一個模型。

訓練與推論的行為不一樣,這是最容易出錯的地方

推論時 dropout 必須關掉,所有神經元都要參與。但這樣一來,推論時每個神經元收到的輸入總和會比訓練時大,因為訓練時有一部分被歸零了。

解法叫反向 dropout(inverted dropout):訓練時把留下來的輸出除以 (1 − p) 補回去,推論時就完全不用做任何調整。現在所有主流框架都是這個做法。

實務上你要做的只有一件事:確認推論前有切到評估模式(PyTorch 的 model.eval()、Keras 會自動處理)。忘記切的症狀是同一筆輸入每次預測結果都不一樣,而且準度莫名偏低。這是很常見的上線事故。

另外要知道:dropout 不是萬用的。批次正規化(batch normalization)本身就有正則化效果,兩者疊在一起有時會互相干擾,現代架構常常只留其中一個。Transformer 裡 dropout 仍在用,但比例通常很低。

情境判斷

Q1(直覺題): 模型開始背題不會泛化時,你會想先踩哪種煞車?

可以先考慮 Dropout 或 Early Stopping 這類訓練控制。

Q2(判斷題): 訓練越久就一定越好嗎?

看情況,因為有時候再訓練只會讓驗證表現變差,這時候應該停下來或調整正則化。

iPAS 考題

Q:Dropout 的目的主要是什麼?

主要是防止模型太依賴某幾條神經元路徑,逼它學得更穩健,減少過擬合。

Q:Dropout 在考題裡常怎麼出?

常考訓練時和推論時的差異,以及它和 L1/L2 正則化、Early Stopping 的搭配關係。

常見問題

出現在這些考古題

官方公告試題的逐題解析裡,這 2 題把隨機丟棄列為延伸術語。

立即測驗

想測試你對 隨機丟棄 的掌握程度?用考古題作答

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

參考來源:en.wikipedia.org

考試範圍:iPAS AI 應用規劃師評鑑內容範圍參考(115.02 更新),經濟部產業人才能力鑑定,實際考試內容以官方公告為準。

其他格式:Markdown 版本