多模態學習中,某模態資料缺失(例如只有影像沒有文本),應如何處理?

iPAS 考題解析

多模態學習中,某模態資料缺失(例如只有影像沒有文本),應如何處理?

  • A. 用零向量填充缺失模態
  • B. 訓練具備模態缺失感知能力的模型 ✓ 正確答案
  • C. 用生成模型補全缺失模態
  • D. 直接捨棄缺失模態的樣本

詳細解析

最佳做法是讓模型本身能「意識到」某個模態缺失,自動調整權重,不依賴缺失的資訊。這比簡單填充零向量或直接丟棄更有效。

難度:★★★