多模態學習中,某模態資料缺失(例如只有影像沒有文本),應如何處理?
iPAS 考題解析
多模態學習中,某模態資料缺失(例如只有影像沒有文本),應如何處理?
- A. 用零向量填充缺失模態
- B. 訓練具備模態缺失感知能力的模型 ✓ 正確答案
- C. 用生成模型補全缺失模態
- D. 直接捨棄缺失模態的樣本
詳細解析
最佳做法是讓模型本身能「意識到」某個模態缺失,自動調整權重,不依賴缺失的資訊。這比簡單填充零向量或直接丟棄更有效。
難度:★★★
多模態學習中,某模態資料缺失(例如只有影像沒有文本),應如何處理?
多模態學習中,某模態資料缺失(例如只有影像沒有文本),應如何處理?
最佳做法是讓模型本身能「意識到」某個模態缺失,自動調整權重,不依賴缺失的資訊。這比簡單填充零向量或直接丟棄更有效。