完整定義
多模態 AI（Multimodal AI）突破了單一資料類型的限制，能夠融合文字、圖像、語音等多種模態的資訊進行聯合推理。代表模型如 GPT-4V、Gemini 可以同時理解圖文。iPAS 考試重點：了解多模態架構如何整合不同感知能力，及其在醫療影像診斷、智慧製造等場域的應用。
白話說明
你有沒有想過，AI 不只看文字，也能同時看圖、聽聲音、理解影片？
你可以把它想成一個人同時看簡報、聽講解、再看圖表，最後把所有資訊合在一起判斷。
多模態 AI 的重點是跨資料型態整合，不只是各自看懂，而是把不同模態一起用來做決策。
記住這句
能一起看圖、聽聲、讀字，才叫多模態。
容易混淆
多模態 AI vs 多模態學習
多模態 AI：更大的應用概念，重點在跨模態理解與輸出
多模態學習：偏方法與訓練策略，重點在怎麼把模態學好
多模態 AI vs 單模態 AI
多模態 AI：同時處理多種輸入
單模態 AI：只看一種資料，例如只有文字或只有圖片
實際案例
看圖回答
使用者上傳菜單照片，系統讀出餐名、價格，再結合文字問題回答推薦。
客服錄音
系統同時分析通話聲音與對話文字，判斷客戶情緒和需求。
算法與應用
多模態 AI 常靠對齊、融合、和共同表示學習，把不同模態映射到可比較的空間。
難點在於模態間資訊密度不同，圖像像素多，文字離散，聲音又有時間序列特性。
做得好時，它會比只看單一模態更完整，也更接近人類理解世界的方式。
中英對照與模態指的是什麼
常見的模態除了文字、影像、聲音、影片之外，還包括表格資料、時間序列、3D 點雲、感測器訊號、生物訊號。自駕車同時吃攝影機、光達與雷達，那也是多模態。
- 中文
- 多模態
- 英文
- multimodal
- 說明
- 同時處理兩種以上不同型態的資料
- 中文
- 模態
- 英文
- modality
- 說明
- 一種資料型態，例如文字、影像、聲音、影片
- 中文
- 單模態
- 英文
- unimodal
- 說明
- 只處理一種
- 中文
- 跨模態檢索
- 英文
- cross-modal retrieval
- 說明
- 用一種模態去搜另一種，例如用文字搜圖
- 中文
- 模態對齊
- 英文
- modality alignment
- 說明
- 讓不同模態的表示落在同一個空間
不同模態怎麼合在一起
核心難題是：文字是離散的符號序列，影像是連續的像素矩陣，聲音是波形。要讓模型同時處理，必須先把它們變成可以放在一起的東西。
主流做法是各自用一個編碼器轉成向量，再想辦法讓這些向量落在同一個語意空間裡，這樣「一張貓的照片」與「貓」這兩個字才會靠在一起。CLIP 用的就是這個做法，靠大量圖文配對做對比學習來對齊。
融合的時機分三種：
現在的多模態大型語言模型多半走中期融合的變體：先用視覺編碼器把影像轉成一串向量，透過一個投影層對到語言模型的嵌入空間，然後當作特殊的 token 塞進語言模型。這樣可以直接沿用既有的語言模型能力。
- 融合方式
- 早期融合
- 做法
- 在輸入層就把不同模態拼起來
- 特點
- 能學到細緻的跨模態關係，但需要嚴格對齊的資料
- 融合方式
- 中期融合
- 做法
- 各自編碼後在中間層互動
- 特點
- 現在最常見，例如用交叉注意力
- 融合方式
- 晚期融合
- 做法
- 各自處理到最後才合併結論
- 特點
- 最簡單、模組可獨立更換，但學不到深層互動
實務上要注意的兩件事
模態失衡。 訓練時某一個模態的訊號特別強，模型會偷懶只看那一個。例如影片分類任務裡，模型可能光靠聲音就能猜對大部分，於是根本不學畫面。要在評估時刻意遮蔽單一模態來檢查。
模態缺失。 上線後某個模態可能拿不到（麥克風壞了、圖片載入失敗）。設計時就要決定：是退回單模態模式，還是直接拒絕服務。事後補救通常很痛。
情境判斷
Q1（直覺題）：你要做一個能看商品照片、讀商品標題、再回答規格的系統，最像什麼？
多模態 AI，因為它同時吃圖像和文字。
Q2（判斷題）：如果圖像很清楚，但文字標題常被店家亂寫，哪個模態更該被降權？
要看情況，標題如果錯誤率高就該降權，但如果圖像也有遮擋，兩邊都要一起看。
iPAS 考題
Q：多模態 AI 的核心特徵是什麼？
能同時處理文字、圖像、聲音、影片等多種模態，並把它們整合成同一個判斷。
Q：為什麼多模態 AI 比單模態系統更有資訊量？
因為它可以交叉驗證不同來源，降低只看單一資料時的偏差。
常見問題
不一定，資料如果太雜或對不上，反而會拖累表現。
前者講應用和能力，後者講訓練方法。
不一定，文字、聲音、影片都可以是模態。
常見例子包括 CLIP 這類用圖文配對做對比學習的模型、能同時讀圖片與文字的視覺語言模型，以及能聽懂語音再用語音回答的對話系統。各家模型支援的模態與版本經常變動，實際能力依官方說明為準。
主要特色是輸入、輸出或兩者包含一種以上的資料型態，例如同時讀圖片與文字，再輸出一段說明。它要先把不同模態轉成可以互相比較的表示再融合，所以能回答單看文字或單看圖片答不出來的問題，例如照片裡標示的價格是多少。
指能接收與處理多種模態資訊的 AI 代理，例如看得懂螢幕截圖、讀得懂文件、聽得懂語音指令，再自己規劃步驟去操作工具完成任務。它是把多模態模型的感知能力接到代理的規劃與執行流程上，實用與否要看任務能不能穩定完成。
出現在這些考古題
官方公告試題的逐題解析裡，這 3 題把多模態 AI列為延伸術語。
立即測驗
想測試你對 多模態 AI 的掌握程度？用考古題作答
相關術語
來源
這個術語目前沒有標註外部來源。
考試範圍：iPAS AI 應用規劃師評鑑內容範圍參考（115.02 更新），經濟部產業人才能力鑑定，實際考試內容以官方公告為準。
其他格式：Markdown 版本