---
title: "缺失模態強健性（Missing Modality Robustness）"
slug: missing-modality-robustness
language: zh-TW
source: https://aiterms.tw/terms/missing-modality-robustness
updated_at: 2026-07-04
tags: [多模態AI, 模型訓練, 模型評估, AI應用, source:ipas]
ipas_term: true
---

# 缺失模態強健性（Missing Modality Robustness）

指多模態模型在部分輸入資料（如影像或音訊）缺失或損壞時，仍能維持穩定預測效能與系統運作的能力。

## 完整說明

缺失模態強健性是一種多模態機器學習系統的適應機制，用於處理因感測器故障或隱私限制導致的輸入缺失問題，能夠讓模型在缺乏完整資訊時平滑降級而非失效。常見應用包括自動駕駛感測器融合、醫療輔助診斷資料整合，以及不穩定網路下的情感分析。

## iPAS 考試出題分析

屬於未分類考範圍。

## 常見問題

### 為什麼多模態模型在遇到單一模態缺失時，預測效能往往會大幅下降？

多模態模型在標準訓練過程中，優化演算法會自動尋找最能快速降低誤差的特徵路徑。如果某一個模態（例如高解析度的視覺影像）包含了非常清晰且容易提取的分類訊號，模型就會產生嚴重的路徑依賴，將絕大部分的權重分配給該模態，從而忽略了其他輔助模態（如音訊或環境感測資料）。這導致模型並未真正掌握多種資訊間的互補關係。當這個主導模態在實際應用中突然缺失，模型便失去了主要的決策依據，而剩餘模態的特徵提取網路因訓練不足，無法獨自承擔推論任務，進而導致整體效能出現斷崖式的下跌。

### 在模型訓練階段，可以採取哪些具體策略來提升缺失模態強健性？

在訓練階段，核心策略之一是引入模態丟棄機制。這是一種強制的正則化手段，透過在每個訓練批次中，人為且隨機地遮蔽掉部分樣本的特定模態輸入，迫使神經網路不能過度依賴單一資訊來源，必須學會從所有可用的殘餘模態中提取特徵。另一種常見策略是跨模態知識蒸餾，先訓練一個能接收完整輸入的教師模型，接著訓練一個學生模型，讓學生模型在只有部分模態輸入的情況下，去預測教師模型的輸出結果或對齊其內部特徵分佈。這能引導學生模型學會在缺乏完整資訊時重構出合理的聯合表徵。

### 缺失模態強健性在醫療影像輔助診斷系統中具有什麼樣的實務價值？

在醫療臨床實務中，病患的資料收集往往存在不完整的情況。一個多模態輔助診斷系統可能需要醫學影像、基因定序資料與電子病歷。然而，受限於醫療資源分配、檢查成本或病患個人狀況，系統經常會遇到缺乏特定高階影像或檢驗數據的情境。如果診斷模型具備缺失模態強健性，它便不會因為部分資料欄位空白而直接拒絕運算。相反地，模型能夠最大程度地利用現有的病歷文字和常規檢驗數據，進行平滑降級，提供一個帶有信賴度區間的初步風險評估，協助醫療人員在資源受限的條件下維持臨床決策的參考依據。

---

來源：https://aiterms.tw/terms/missing-modality-robustness
快查頁：https://aiterms.tw/terms/missing-modality-robustness
最後更新：2026/07/04
深度解說：https://aiterms.tw/learning/what-is-missing-modality-robustness