自主系統對抗韌性（Adversarial Robustness for Autonomous Systems）是什麼？

自主系統對抗韌性旨在確保AI驅動的自主系統，如自駕車或機器人，在面對惡意干擾或對抗性攻擊時，仍能維持其預期功能與安全性，避免錯誤決策或系統失效。

核心概念

自主系統對抗韌性（Adversarial Robustness for Autonomous Systems）是人工智慧安全領域的一個關鍵分支，其核心目標是確保由AI驅動的自主系統，如自駕車、無人機、工業機器人等，在面對惡意設計的輸入（即對抗性攻擊）時，仍能可靠、安全地運作。這不僅關乎系統的性能，更直接影響到物理世界的安全與穩定。

什麼是對抗性攻擊？

對抗性攻擊是指攻擊者透過對合法輸入數據進行微小、通常人眼難以察覺的擾動，來誤導AI模型做出錯誤判斷或決策。這些擾動是根據AI模型的脆弱性精心計算和構造的。對於自主系統而言，這可能意味著：

• 數位層面攻擊：直接修改感測器數據流，例如篡改影像像素、音訊波形或雷達訊號。
• 物理層面攻擊：在真實世界中製造物理擾動，例如在交通標誌上貼上特定圖案的貼紙，或使用雷射筆干擾光學感測器，使AI系統產生錯誤識別或感知。

為什麼自主系統需要對抗韌性？

自主系統通常在開放、動態且不可預測的環境中運行，其決策直接影響物理世界，涉及高風險。一旦系統因對抗性攻擊而失效或做出錯誤決策，可能導致嚴重的後果，例如：

• 自駕車：誤判交通標誌導致闖紅燈，或將行人誤識別為背景，引發交通事故。
• 無人機：GPS欺騙導致偏離預定航線，或視覺系統被干擾導致撞擊障礙物。
• 工業機器人：對生產線上的產品進行錯誤分類或操作，造成生產損失甚至人員傷害。

頑健性（Robustness）的定義

在對抗性攻擊的背景下，頑健性指的是AI模型或系統在面對一定範圍內的惡意擾動時，其性能（如分類準確度、控制精度）仍能保持在可接受水平的能力。這與傳統的泛化能力（Generalization）不同，泛化能力關注模型對未見過但符合數據分佈的樣本的表現，而頑健性則專注於模型對惡意構造、偏離數據分佈但極其相似的樣本的抵抗力。

常見的攻擊類型

1. 迴避攻擊 (Evasion Attacks)：在模型部署後發生，攻擊者修改輸入數據以逃避模型的正確分類。這是最常見的對抗性攻擊形式，例如對圖像添加擾動使其被錯誤分類。
2. 中毒攻擊 (Poisoning Attacks)：在模型訓練階段發生，攻擊者將惡意數據注入訓練集，從而影響模型的學習過程，使其在部署後對特定輸入產生錯誤行為。例如，在訓練集中加入帶有特定標籤的惡意樣本，導致模型在推斷時產生後門效應。
3. 模型竊取 (Model Extraction/Stealing Attacks)：攻擊者透過查詢目標模型，從而重建一個功能相似的模型，竊取模型的知識產權或用於後續的對抗性攻擊。
4. 模型反轉 (Model Inversion Attacks)：攻擊者透過查詢模型輸出，嘗試重建模型的訓練數據，這可能導致敏感資訊洩露。

防禦策略概述

為提升自主系統的對抗韌性，研究人員開發了多種防禦策略，主要分為：

• 對抗性訓練 (Adversarial Training)：將對抗樣本納入模型的訓練數據中，使模型學習識別並抵抗這些擾動。
• 檢測與過濾 (Detection and Filtering)：在輸入數據進入AI模型之前，檢測並過濾掉潛在的對抗樣本。
• 認證防禦 (Certified Defenses)：提供數學證明，保證模型在一定擾動範圍內不會被攻擊。
• 模型架構改進 (Model Architecture Improvements)：設計更具頑健性的神經網路架構。
• 可解釋性與可驗證性 (Explainability and Verifiability)：透過理解模型決策過程來識別異常行為。

運作原理

自主系統對抗韌性的運作原理涉及攻擊的生成與防禦機制的實施。理解這些原理對於開發有效的防禦策略至關重要。

攻擊生成原理

對抗性攻擊的生成通常基於對目標AI模型的理解，尤其是其梯度資訊。常見的攻擊方法包括：

1. 基於梯度的方法 (Gradient-based Attacks)：
   • 快速梯度符號方法 (Fast Gradient Sign Method, FGSM)：這是最早且最簡單的攻擊方法之一。它透過計算損失函數對輸入的梯度，然後沿著梯度的符號方向對輸入添加一個微小擾動，以最大化損失。其公式通常為 x_adv = x + epsilon * sign(gradient_x(Loss(x, y)))。
   • 投影梯度下降 (Projected Gradient Descent, PGD)：PGD是FGSM的迭代版本，它在每次迭代中沿著梯度方向進行小步長更新，並將擾動限制在一個預設的Lp範數球內（例如L-infinity範數），以確保擾動的不可察覺性。PGD被認為是一種強大的「一階」攻擊，常用於評估模型的對抗頑健性。
   • 卡利尼和瓦格納攻擊 (Carlini & Wagner, C&W Attacks)：C&W攻擊旨在找到最小的擾動，同時確保對抗樣本被錯誤分類。它通常涉及一個優化問題，尋找滿足特定約束條件（如擾動大小）的對抗樣本，並被認為是通常的白箱攻擊之一，尤其是在L2和L-infinity範數下。
2. 基於優化的方法 (Optimization-based Attacks)：這類攻擊將尋找對抗樣本視為一個優化問題，目標是最小化擾動的同時使模型輸出錯誤的結果。C&W攻擊即為此類。
3. 物理世界攻擊 (Physical World Attacks)：這類攻擊涉及到將數位擾動轉換為物理形式，例如在交通標誌上貼上特殊圖案的貼紙，或使用雷射筆、LED燈等干擾光學感測器。這需要考慮物理環境的因素，如光照、視角、距離等，使得攻擊更具挑戰性但也更具現實威脅。

防禦機制原理

為對抗上述攻擊，研究人員提出了多種防禦策略：

1. 對抗性訓練 (Adversarial Training)：
   • 原理：這是最有效且廣泛採用的防禦策略之一。它透過在訓練過程中，將原始數據與其對應的對抗樣本（通常是透過PGD等方法生成）一起納入訓練集。模型在這些「被攻擊」的數據上進行訓練，從而學習如何識別並抵抗這些擾動。這使得模型對微小的輸入變化變得不那麼敏感，提高了其在面對未知對抗樣本時的泛化能力。
   • 優缺點：能有效提升模型對已知攻擊的頑健性，但可能導致模型在正常數據上的準確度略有下降（頑健性-準確度權衡），且無法保證對所有未知或新型攻擊的免疫力。
2. 檢測與過濾 (Detection and Filtering)：
   • 原理：這類方法旨在在輸入數據進入AI模型之前，識別並阻止對抗樣本。常見技術包括：
     • 異常檢測 (Anomaly Detection)：訓練一個單獨的檢測器來區分正常樣本和對抗樣本。對抗樣本通常具有某些統計特性，可以被異常檢測算法捕捉。
     • 輸入淨化 (Input Purification)：在將輸入送入模型之前，對其進行預處理，例如使用去噪器、壓縮或轉換，以消除或減弱對抗性擾動。例如，使用自動編碼器來重建輸入，希望在重建過程中消除擾動。
     • 統計分析：分析輸入數據的統計特性，如像素分佈、頻率分佈等，以識別與正常數據顯著不同的模式。
3. 認證防禦 (Certified Defenses)：
   • 原理：這類方法旨在提供數學上的保證，證明模型在一定擾動範圍內是頑健的。最著名的技術是隨機平滑 (Randomized Smoothing)。它透過對輸入數據添加隨機雜訊，然後對模型的預測結果進行投票或平均，從而擴大模型的決策邊界，並提供一個可證明的頑健性半徑。這類方法能夠提供嚴格的數學保證，但通常會犧牲一定的模型準確度或計算效率。
4. 模型架構改進 (Model Architecture Improvements)：
   • 原理：設計本身就更具頑健性的神經網路架構。例如，使用更穩定的激活函數、增加模型的容量、引入注意力機制或使用特定的正規化技術，以減少模型對輸入擾動的敏感性。
5. 可解釋性與可驗證性 (Explainability and Verifiability)：
   • 原理：透過可解釋AI（XAI）技術，理解模型做出特定決策的原因。當模型在對抗樣本上做出錯誤決策時，可解釋性工具可能會揭示異常的注意力區域或特徵激活模式，從而幫助識別攻擊。可驗證性則涉及形式化方法，以數學方式證明模型的行為符合預期規範，尤其是在安全關鍵系統中。

評估指標

評估自主系統的對抗韌性通常涉及以下指標：

• 攻擊成功率 (Attack Success Rate)：在對抗樣本上，模型做出錯誤預測的比例。
• 模型準確度 (Model Accuracy)：在正常樣本和對抗樣本上的準確度，用於衡量頑健性與準確度之間的權衡。
• 頑健性邊界 (Robustness Margin)：模型能夠承受的最大擾動量，超過此量模型才會做出錯誤預測。
• 認證頑健性半徑 (Certified Robustness Radius)：對於認證防禦方法，這是數學上保證模型正確分類的最小擾動半徑。

實際應用

自主系統對抗韌性的研究與實踐對於確保AI技術在現實世界中的安全部署至關重要。其應用場景廣泛，尤其是在那些決策直接影響物理世界和人類安全的領域。

1. 自駕車與自動駕駛系統：

   • 挑戰：自駕車高度依賴感測器（攝影機、雷達、光達）來感知環境、識別物體、判斷路況和導航。對抗性攻擊可能針對這些感測器數據，導致系統做出危險決策。
   • 應用：
     • 交通標誌識別：攻擊者可能在停車標誌上貼上微小擾動的貼紙，使自駕車將其誤識別為限速標誌，導致超速行駛。對抗韌性技術旨在訓練模型識別這些被篡改的標誌，或透過多模態感測器融合來驗證視覺資訊。
     • 行人與車輛偵測：透過在行人或車輛上放置特定圖案，使其在特定視角下對自駕車的視覺系統「隱形」或被誤識別為其他物體。對抗性訓練和異常檢測器被用於增強偵測模型的頑健性。
     • 雷射與光達干擾：惡意雷射或光達訊號可能導致自駕車的距離感測器失效或產生錯誤的地圖資訊。防禦措施包括訊號過濾、多感測器冗餘和基於物理特性的異常檢測。

2. 無人機與航空系統：

   • 挑戰：無人機在導航、避障、目標追蹤和偵察等任務中依賴AI。GPS欺騙、視覺系統干擾和通訊劫持是對其安全運行的主要威脅。
   • 應用：
     • GPS欺騙 (GPS Spoofing)：攻擊者發送偽造的GPS訊號，使無人機偏離預定航線或降落在錯誤地點。對抗韌性透過結合慣性測量單元（IMU）、視覺里程計和地圖匹配等技術來驗證GPS數據的真實性，並在GPS訊號不可靠時切換到自主導航模式。
     • 視覺導航與避障：類似於自駕車，無人機的視覺系統也可能受到對抗性貼紙或光照干擾，導致避障失敗或目標追蹤錯誤。對抗性訓練和輸入淨化技術用於提高視覺模型的頑健性。
     • 目標識別與追蹤：在軍事或監控應用中，無人機需要精確識別和追蹤目標。對抗性攻擊可能導致目標被錯誤識別或跟丟。增強模型的特徵提取和時序一致性是防禦策略的一部分。

3. 工業自動化與機器人：

   • 挑戰：工業機器人在製造、組裝、品質控制等環節中日益普及。它們通常與人類協作，任何錯誤都可能導致生產中斷、產品損壞或人員受傷。
   • 應用：
     • 品質檢測：視覺檢測系統用於識別產品缺陷。攻擊者可能透過在產品上製造微小、特定的圖案，使機器人將有缺陷的產品誤判為合格品，或將合格品判為缺陷品。對抗性訓練和基於物理特性的檢測器有助於提高系統的可靠性。
     • 協作機器人安全：在人機協作環境中，機器人需要精確感知周圍環境和人類動作。對抗性攻擊可能導致機器人誤判人類位置或意圖，引發安全事故。多模態感測器融合（如視覺、力覺、觸覺）和實時異常行為檢測是關鍵。
     • 物料搬運與分揀：機器人透過視覺系統識別和抓取物體。對抗性擾動可能導致抓取錯誤或物體損壞。強化的物件偵測模型和基於物理約束的決策邏輯可以增強其頑健性。

4. 智慧監控與安全系統：

   • 挑戰：人臉識別、行為分析等AI技術廣泛應用於監控。攻擊者可能試圖繞過這些系統。
   • 應用：
     • 人臉識別：攻擊者可能佩戴經過特殊設計的眼鏡或帽子，使人臉識別系統無法識別其身份或將其誤識別為他人。對抗性訓練和活體檢測技術用於提高系統的安全性。
     • 異常行為檢測：監控系統利用AI識別異常行為。對抗性攻擊可能使惡意行為被誤判為正常，或正常行為被誤判為異常。透過結合多個AI模型和上下文資訊來提高檢測的頑健性。

5. 醫療AI與診斷系統：

   • 挑戰：AI在醫學影像分析、疾病診斷中發揮作用。錯誤的診斷可能對患者生命造成威脅。
   • 應用：
     • 醫學影像診斷：攻擊者可能對醫學影像（如X光片、MRI）進行微小修改，導致AI模型誤診。例如，將惡性腫瘤誤判為良性，或反之。對抗性訓練和認證防禦在此類高風險應用中尤為重要，以確保診斷的可靠性。

常見誤區

在自主系統對抗韌性的研究與實踐中，存在一些常見的誤區，需要加以澄清，以避免不切實際的期望或錯誤的防禦策略。

1. 誤區一：對抗性攻擊只存在於數位領域

   • 澄清：許多人認為對抗性攻擊僅限於對數位圖像或數據的修改。然而，物理世界攻擊對自主系統構成同等甚至更大的威脅。例如，在交通標誌上貼上特定貼紙，或使用雷射筆干擾自駕車的感測器，這些都是在物理世界中實施的對抗性攻擊。這些攻擊更難防禦，因為它們需要考慮光照、視角、距離、材料反射等複雜的物理因素。

2. 誤區二：僅靠對抗性訓練就能解決所有問題

   • 澄清：對抗性訓練是目前最有效的防禦策略之一，但它並非萬能。它通常只能提升模型對訓練時所見過或類似的對抗性攻擊的頑健性。對於新型的、未知的攻擊方式，或攻擊者採用了與訓練時不同的攻擊生成算法，對抗性訓練的效果可能會大打折扣。此外，對抗性訓練往往會導致模型在正常、無擾動數據上的性能（準確度）略有下降，這是一個頑健性與準確度之間的權衡問題。

3. 誤區三：高準確度模型自然就具有高頑健性

   • 澄清：這是一個普遍的誤解。一個在正常數據集上表現出極高準確度的AI模型，可能對微小的對抗性擾動極其敏感。即使是人眼無法察覺的像素級變化，也可能導致模型做出完全錯誤的判斷。這是因為深度學習模型往往學習到的是高維空間中脆弱的、非魯棒的特徵，而不是人類所理解的語義特徵。因此，模型的準確度與其對抗頑健性之間沒有必然的正相關關係。

4. 誤區四：攻擊者能力有限，無需過度防禦

   • 澄清：對於自主系統，尤其是安全關鍵應用，攻擊者的潛在能力和動機不應被低估。攻擊者可能擁有強大的計算資源、專業知識，甚至能夠訪問目標模型的架構或參數（白箱攻擊）。即使是黑箱攻擊，透過查詢模型輸出也能逐步推斷出模型的行為模式，從而生成有效的對抗樣本。因此，防禦策略需要假設攻擊者是強大且有動機的，並採用多層次、全面的防禦方法。

5. 誤區五：只關注單一AI模型的頑健性就足夠了

   • 澄清：自主系統通常由多個AI模型、感測器、控制單元和通訊模組組成，形成一個複雜的系統。僅僅確保其中一個AI模型的頑健性是不夠的。攻擊者可能針對感測器數據輸入、模型間的數據傳輸、控制邏輯或系統的整體架構進行攻擊。因此，需要從系統層級來考慮對抗韌性，包括多模態感測器融合的冗餘性、決策融合的頑健性、通訊協議的安全性以及整體系統的故障安全機制。

與相關技術的比較

自主系統對抗韌性與多個AI及安全相關技術密切交織，但又具有其獨特的側重點。理解這些比較有助於更清晰地界定其範疇和價值。

1. 與傳統網路安全 (Traditional Cybersecurity) 的比較：

   • 傳統網路安全：主要關注資訊系統的機密性、完整性和可用性（CIA三要素）。其防禦對象是惡意軟體、病毒、駭客入侵、數據洩露、服務阻斷等。防禦手段包括防火牆、入侵檢測系統、加密、身份驗證、漏洞管理等。它主要針對軟體漏洞、網路協議缺陷和系統配置錯誤。
   • 自主系統對抗韌性：雖然也關注完整性和可用性，但其核心是保護AI模型本身免受惡意輸入的操縱，導致模型做出錯誤決策。攻擊目標是AI模型的決策邏輯和感測器數據的解釋。防禦手段包括對抗性訓練、輸入淨化、認證防禦等。它處理的是AI特有的脆弱性，即模型對微小、精心構造擾動的敏感性。
   • 關係：兩者是互補的。自主系統的整體安全需要傳統網路安全來保護其底層操作系統、網路通訊和數據儲存，同時也需要對抗韌性來保護其AI核心決策能力。

2. 與AI倫理與治理 (AI Ethics and Governance) 的比較：

   • AI倫理與治理：是一個更廣泛的領域，關注AI系統的公平性、透明度、可解釋性、隱私保護、問責制以及對社會的影響。它涉及政策制定、法律法規、道德準則和社會責任。
   • 自主系統對抗韌性：是實現AI倫理與治理中「安全性」和「可靠性」目標的技術手段之一。一個不具備對抗韌性的自主系統，其行為可能不可預測且危險，這直接違反了AI應當安全可靠的倫理原則。例如，自駕車的對抗韌性不足可能導致交通事故，這不僅是技術問題，更是倫理和社會責任問題。
   • 關係：對抗韌性是AI倫理與治理的技術基石，為確保AI系統的負責任部署提供技術保障。

3. 與模型評估 (Model Evaluation) 的比較：

   • 傳統模型評估：主要關注模型在未見過的、但來自相同數據分佈的測試集上的性能，例如準確度、精確度、召回率、F1分數等。它衡量的是模型的泛化能力。
   • 自主系統對抗韌性評估：專門針對模型在面對惡意構造的對抗樣本時的性能。它使用特定的攻擊算法（如PGD、C&W）來生成對抗樣本，然後評估模型在這些樣本上的錯誤率或頑健性半徑。這是一種更嚴格、更具挑戰性的評估方式，旨在揭示模型在惡意環境下的脆弱性。
   • 關係：對抗韌性評估是模型評估的一個專業子集，專門用於衡量模型在對抗性環境下的可靠性。

4. 與可信賴AI (Trustworthy AI) 的比較：

   • 可信賴AI：是一個綜合性概念，旨在確保AI系統能夠在現實世界中安全、可靠、公平、透明地運行，並符合人類的價值觀。它通常包含多個維度，如安全性、可靠性、公平性、可解釋性、隱私保護、問責制等。
   • 自主系統對抗韌性：是可信賴AI的一個核心組成部分，尤其是在「安全性」和「可靠性」維度上。一個不具備對抗韌性的自主系統，很難被認為是可信賴的，因為其行為可能被惡意操縱，導致不可預測的後果。
   • 關係：對抗韌性為可信賴AI提供了關鍵的技術支撐，確保AI系統在面對惡意攻擊時仍能保持其預期功能和安全邊界。

5. 與異常偵測 (Anomaly Detection) 的比較：

   • 異常偵測：旨在識別數據集中不符合預期模式或行為的數據點。這些異常點可能是錯誤、欺詐、設備故障或新穎事件的指示。異常偵測通常假設異常數據是稀疏的，且與正常數據分佈顯著不同。
   • 自主系統對抗韌性：對抗樣本的特殊之處在於，它們是經過精心設計的，旨在看起來與正常數據極其相似，但卻能誤導AI模型。它們的目的是「欺騙」模型，使其將惡意輸入誤認為正常輸入。雖然某些對抗性防禦策略會利用異常偵測的原理來識別對抗樣本，但對抗樣本的生成方式和目的與典型的異常數據有所不同。
   • 關係：兩者在技術上可能存在交叉（例如，使用異常偵測器來識別對抗樣本），但其核心目標和所處理的數據特性有所區別。異常偵測通常處理自然發生的異常，而對抗韌性則處理惡意構造的、旨在隱藏其惡意意圖的樣本。