對抗訓練（Adversarial Training）是什麼？

一種透過引入具有對抗特性的數據樣本來強化模型穩健性的機器學習訓練方法，能夠提升模型在面對惡意攻擊或分佈外輸入時的防禦能力。

核心概念

對抗訓練是在機器學習中引入「對抗樣本」的一種防禦機制。對抗樣本是指通過在原始數據上加入精心設計的擾動，使得人類無法察覺變化，但足以迷惑模型產生錯誤輸出的輸入。對抗訓練的核心思想是在訓練過程中不斷生成這類對抗樣本，並將其加入訓練集，讓模型學會如何抵禦這類攻擊。

在傳統的監督學習中，模型通過最小化訓練損失函數來優化。而在對抗訓練中，訓練過程變成一個最小-最大化問題（minimax optimization）：外層是最小化模型的損失，內層是最大化模型在對抗擾動下的損失。這個博弈過程迫使模型學習更加穩健的表示和決策邊界。

運作原理

對抗訓練通常分為以下步驟：首先，使用某種攻擊方法（如 FGSM（快速梯度符號法）或 PGD（投影梯度下降））生成對抗樣本。這些方法通過計算損失函數相對於輸入的梯度，然後在梯度方向上進行小幅度擾動。其次，將原始樣本和對應的對抗樣本混合成小批次，輸入模型進行前向傳播。第三，計算混合損失，通常是原始預測損失和對抗預測損失的加權組合。最後，通過反向傳播更新模型參數。

關鍵的數學表達為：訓練目標變為最小化 E[loss(f(x + δ), y) + loss(f(x), y)]，其中 δ 是受約束的擾動向量，通常被限制在一個 L∞ 或 L2 球體內。這個過程在整個訓練週期中反覆進行，使模型逐漸適應對抗樣本的挑戰。

實際應用

對抗訓練在多個領域展示出實用價值：在計算機視覺中，對抗訓練提升了圖像分類模型在物理世界對抗樣本（如特殊設計的貼紙）下的準確性；在自然語言處理中，對抗訓練增強了文本分類器和機器翻譯系統對輸入文本微小修改的抗干擾能力；在推薦系統中，對抗訓練幫助防禦精心設計的點擊欺詐；在語音識別中，對抗訓練改進了模型對背景噪聲和語音變化的適應能力。

金融風控、網路安全和自動駕駛等對模型穩健性要求極高的領域，都採用了對抗訓練來增強系統的防禦能力。

常見誤區

一個常見的誤區是認為對抗訓練可以完全消除模型的脆弱性。實際上，對抗訓練只能在特定威脅模型下增強魯棒性，無法提供絕對防禦。另一個誤區是假設對所有攻擊類型都有效。不同的對抗訓練策略對不同的攻擊方式的防禦效果各異。此外，許多人忽視了對抗訓練的計算成本：因為需要生成對抗樣本和進行額外計算，訓練時間通常是標準訓練的數倍。還有一個隱藏的權衡是標準準確性通常會略有下降，因為模型為了應對對抗擾動而調整了決策邊界。

與相關技術的比較

對抗訓練與其他穩健性增強方法的區別值得關注。防禦蒸餾（Defensive Distillation）通過知識蒸餾來增強模型，但效果不如對抗訓練。認證防禦（Certified Defenses）通過數學證明確保模型在特定擾動範圍內的正確性，但計算成本極高。輸入變換（Input Transformation）通過預處理輸入數據來移除對抗擾動，但對自適應攻擊的防禦有限。相比之下，對抗訓練直接在模型訓練過程中融入防禦機制，提供了實用性和效果的良好平衡。對於大規模深度學習模型，對抗訓練仍是最實用的防禦方案之一。