缺失模態強健性（Missing Modality Robustness）是什麼？

指多模態模型在部分輸入資料（如影像或音訊）缺失或損壞時，仍能維持穩定預測效能與系統運作的能力。

核心概念

在多模態人工智慧的發展中，系統通常會同時接收來自多種不同來源的資訊，例如自動駕駛汽車同時處理光學雷達、攝影機與毫米波雷達的訊號，或是醫療診斷模型綜合分析病患的醫學影像、基因序列與電子病歷。這些不同來源的資訊在機器學習領域被稱為模態。設計良好的多模態系統，在擁有越多模態的情況下，模型能夠捕捉到的特徵通常越豐富，進而做出更精確的判斷。然而，在現實世界的部署環境中，資料的收集與傳輸往往是不完美的。

缺失模態強健性探討的正是當多模態模型在推論或訓練階段，面臨一個或多個輸入模態完全丟失或部分損壞時，系統維持正常運作與預測準確度的能力。模態缺失的原因多種多樣，涵蓋硬體層面的感測器損壞、網路傳輸過程中的封包遺失、使用者基於隱私考量而拒絕提供特定權限，或是資料建檔階段本身的紀錄遺漏。傳統的多模態模型在設計時，經常預設所有模態在推論階段都是可用的，這種假設導致模型在學習過程中，容易過度依賴某一個包含豐富資訊的主導模態。一旦該主導模態在應用情境中缺失，模型的整體效能就會面臨懸崖式的下跌。因此，提升模型在缺失模態下的強健性，是讓多模態人工智慧脫離理想實驗環境、邁向實際工業應用的基礎能力。

運作原理

要實現缺失模態強健性，研究人員與工程師主要從資料處理、模型架構設計以及訓練策略等三個層面進行改善。

在資料處理層面，早期的做法是進行模態插補，嘗試在資料輸入模型之前填補缺失的資訊。基礎方法是補上零值或是樣本平均值，但這種方式對於高維度的非結構化資料效果相當受限。當前的插補技術多半依賴生成式方法，透過分析現存可用的模態，推測並生成缺失模態的潛在特徵。例如，若視訊畫面遺失但音訊保留，系統可以透過音訊中的頻率與語氣特徵，在特徵空間中模擬出對應的面部表情向量，再將這個合成的特徵傳遞到後續的決策網路中。

在模型架構設計層面，注意力機制扮演了整合的核心角色。傳統的早期融合或晚期融合架構缺乏彈性，難以在執行期間動態調整對不同模態的依賴程度。具備強健性的架構通常採用跨模態注意力機制，讓模型在運算過程中自行評估各模態當下提供的資訊量。當系統偵測到某個模態缺失或雜訊過大時，注意力機制可以自動調降該模態的權重，並將運算資源與決策依據轉移到其他狀態良好的模態上。這種動態權重分配機制，使得模型在面對不完整的輸入時，能夠展現出適應環境變化的能力。

在訓練策略層面，模態丟棄是一種具備成效且廣泛使用的正則化技術。其概念類似於神經網路中的神經元丟棄，但在這裡是將整個模態的輸入在訓練過程中依照特定機率隨機遮蔽。透過在訓練階段刻意模擬模態缺失的各種排列組合，模型會被迫從多個不同的模態中提取獨立且具有鑒別力的特徵，避免走捷徑只依賴單一的高訊號模態。此外，知識蒸餾也被運用於此領域。工程師會先訓練一個能接收所有模態資訊的教師模型，然後用以指導一個在訓練時會遭遇模態隨機缺失的學生模型。學生模型透過模仿教師模型的輸出分佈或內部特徵表示，學習在缺乏完整資訊的情況下，做出接近預期標準的判斷。

實際應用

自動駕駛系統是展現缺失模態強健性價值的典型場景。現代化的自動駕駛車輛配備了光學雷達、高解析度攝影機以及多種頻段的雷達感測器。在晴朗的白天，攝影機可以提供清晰的車道線與行人影像，模型可能會高度依賴這些視覺資訊。但是，當車輛駛入強光直射的隧道出口，或是遭遇暴雨、濃霧等極端天候時，攝影機的畫面可能會瞬間失效或充滿雜訊。如果系統具備缺失模態強健性，它就能迅速將決策依賴轉移到不受光線與部分天候影響的雷達或光學雷達上，維持車輛對周遭障礙物的感知能力。

在醫療健康領域，多模態輔助診斷系統同樣需要此種強健性。臨床診斷通常需要綜合病患的醫學影像、血液檢驗數據以及文字形式的病歷紀錄。然而，並非所有病患都有條件完成所有檢查項目，例如部分病患可能僅有初步的血液報告和病歷，尚未進行核磁共振掃描。具備缺失模態強健性的醫療模型，能夠在缺乏影像模態的情況下，僅憑藉文字和數值資料，提供具備參考價值的風險評估，而不是因為資料欄位不全而直接拒絕給出結果。這對於資源匱乏地區的遠距醫療支援相當重要。

情感運算與人機互動系統也大量應用這項技術。一個設計良好的互動分析系統會同時分析使用者的語音特徵、文字對話內容以及視訊畫面中的微表情。但在實際服務情境中，使用者可能為了保護隱私而關閉視訊鏡頭，或是因處於吵雜環境而導致語音收音模糊。在這些情境下，視覺或聽覺模態實質上處於缺失狀態。具備強健性的模型能夠順暢地切換到僅依賴文字語義，或是依賴文字與殘存聲音特徵的組合來進行情緒狀態評估，維持系統服務的連貫性。

常見誤區

許多開發人員在處理模態缺失問題時，容易將其與傳統表格資料中的缺失值插補混為一談。在處理結構化資料時，使用統計方法填補缺失的數值通常能獲得基本的基準效果。然而，多模態學習涉及的多半是高維度的向量空間，單純使用零值填充或平均值填充，不僅無法還原複雜的語義資訊，更可能對模型引入有害的結構性雜訊，破壞其他正常模態已經建立的特徵空間。高維度模態的缺失處理需要基於特徵層次或語義層次的重建技術，而非簡單的數值填補。

另一個普遍存在的誤區是認為只要不斷增加輸入模態的種類與數量，系統的整體強健性就會自動提升。事實上，若未經過特定的架構設計與訓練正則化，單純增加模態反而可能讓模型變得更加脆弱。神經網路在優化過程中會傾向於尋找捷徑，依賴訓練集中最容易降低損失函數、訊號較穩定的模態。如果系統加入了多個模態，但模型在訓練時發現其中一個模態足以解決多數問題，它就會在權重更新時忽略其他模態。此時若該主導模態在實際運行時缺失，系統崩潰的幅度可能會比僅用少數模態訓練的模型更大。

此外，部分人員誤以為具備缺失模態強健性的模型，在遇到資訊不全時，其預測表現應該要和擁有完整資訊時完全一致。這是不切實際的期望。強健性的設計目標是平滑降級，讓效能下降的幅度保持在可控制且可預測的範圍內，避免系統因部分輸入中斷而產生災難性的錯誤決策。當系統可用的資訊量實質減少時，預測的信賴度自然會下降，強健的模型設計應該要能合理反映出這種不確定性，而非給出盲目自信的隨機猜測。

與相關技術的比較

探討缺失模態強健性時，經常需要將其與分佈外強健性進行區分。分佈外強健性主要關注模型在面對訓練資料集中未曾見過的樣本，或是受到對抗性攻擊時的表現。例如，一個在白天影像上訓練的視覺模型，在夜晚環境中能否維持辨識能力，這屬於同一種模態內部特徵分佈的偏移。而缺失模態強健性探討的則是更高層級的結構性改變，亦即整個資訊維度的完全消失。兩者皆是為了提升模型的可靠度，但應對的底層問題與技術手段截然不同。

模態融合技術與缺失模態強健性有著密切的關聯，但側重點存在差異。模態融合研究的核心是如何有效將不同來源的資訊結合，以達到最佳的聯合表徵，其目標通常是追求在所有模態都完好存在時的極致效能。然而，過度緊密耦合的融合機制往往較為脆弱，一旦其中一個模態的資料流脫落，整體的表徵網路就可能瓦解。近期的研究趨勢是將強健性考量直接融入融合機制的設計中，例如採用解耦的融合模組，讓各個模態在進入聯合層之前先保持一定程度的獨立表徵，如此一來，即使部分模態消失，也不至於嚴重干擾剩餘模態的特徵提取流程。

多任務學習在某些架構概念上可以輔助缺失模態強健性的發展。在多任務學習框架中，模型會同時學習解決多個相關聯的任務，這有助於迫使模型學習到更具泛化能力的底層共享特徵。在面對模態缺失時，如果模型能夠從其他輔助任務的特徵空間中借用相關的表徵，就能在一定程度上彌補主要任務中丟失的資訊。儘管如此，多任務學習本身並不能直接解決模態丟失的根本問題，它更多是作為一種提升特徵豐富度的基礎工程手段，通常需要與模態丟棄或生成式特徵補全等專門技術結合使用，才能在模態缺失的具體場景下發揮實質作用。