完整定義
視覺問答(VQA)是一種人工智慧任務,旨在讓機器能夠理解圖像的內容,並根據自然語言提出的問題給出答案。VQA 結合了電腦視覺和自然語言處理技術,要求模型能夠解析圖像中的物件、關係和場景,並理解問題的語義,最終生成正確的答案。常見應用包括圖像檢索、輔助視覺障礙人士和教育。
白話說明
你有沒有看過一張圖,還想直接問「這裡面是什麼」?
你可以把視覺問答想成「看著圖片回答文字問題」
模型不只要看懂圖,還要把問題和圖像線索對起來
這比單純圖像分類更進一步,因為答案常需要推理
記住這句
先看圖,再抓問題關鍵字,最後把兩邊接起來回答。
比喻:視覺問答就像一個聰明的導遊 -- 你指著一張照片問「這上面有幾個人?」,它能看懂照片內容,並且用流利的中文回答你,完美結合看圖和對話的能力。
容易混淆
視覺問答 vs 圖像分類
視覺問答要回答問題
圖像分類只給一個類別標籤
最關鍵的區別:有沒有問題要回答
視覺問答 vs 圖像描述
視覺問答是針對提問作答
圖像描述是整體描述圖片
最關鍵的區別:定向回答和整體敘述
視覺問答 vs 視覺語言模型
視覺問答是任務
視覺語言模型是常見底層模型
最關鍵的區別:任務和模型
實際案例
購物客服
使用者上傳商品照片再問尺寸或顏色,系統可直接回覆,減少人工處理
教材理解
學生看到圖表後問「哪一段最高」,模型要從圖像讀出對應位置再答題
演算法與應用
| 圖像特徵 | 先看圖片內容 | 是回答的基礎 |
| 問題理解 | 抓出問題在問什麼 | 關鍵詞很重要 |
| 注意力對齊 | 把問題和圖像區域連起來 | 常是性能關鍵 |
| 答案生成 | 輸出簡短或句子型答案 | 常比分類更彈性 |
中英對照與常見說法
- 說法
- 視覺問答
- 出現場合
- 台灣與中國大陸通用譯名
- 說法
- 视觉问答
- 出現場合
- 簡體寫法
- 說法
- Visual Question Answering
- 出現場合
- 英文原名
- 說法
- VQA
- 出現場合
- 標準縮寫
- 說法
- 圖像問答
- 出現場合
- 口語變體,意思相同
一個 VQA 系統要做哪三件事
第一,看懂圖。 用視覺編碼器把影像轉成特徵。早期用 CNN 加上物件偵測抽出區域特徵,現在多半用視覺 Transformer(ViT)直接切成影像區塊編碼。
第二,看懂問題。 用語言模型把問題轉成向量表示。
第三,把兩邊對起來並回答。 這一步是 VQA 的核心難點,叫做跨模態融合。做法從早期的簡單相乘、注意力機制,演進到現在把影像特徵直接投影成語言模型看得懂的 token,交給大型語言模型生成答案。
回答形式有兩種設計。分類式把答案限定在一個固定的候選集合(例如最常見的三千個答案),問題變成多選一,準確率好算但答不出集合外的東西。生成式直接產生文字,彈性大但評估困難,因為「兩個人」與「2 人」語意相同卻字串不同。
這個任務為什麼難
語言先驗偏誤(language prior bias) 是 VQA 最著名的問題。模型可以完全不看圖,只靠問題的統計規律就答對相當比例的題目:問「香蕉是什麼顏色」答黃色、問「有幾隻」答二,正確率就不低。這代表高分不等於真的看懂圖。VQA-CP 這類資料集就是刻意把訓練集與測試集的答案分布錯開,用來揭穿這種取巧。
需要圖片以外的知識。「這個標誌代表可以停車嗎」需要交通規則知識,光看圖看不出來。這類題目催生了知識型 VQA(Knowledge-based VQA)的研究方向。
計數與空間關係一直是弱項。數超過五個物件、判斷「左邊數來第三個」,即使是現在的多模態大模型也常出錯。
實際用在哪
視障輔助(拍照問前面是什麼)、電商(問商品圖的細節)、醫療影像初步問答、工業檢測(問這張照片有沒有缺件)、教育與文件理解(問圖表上的數字)。
情境判斷
Q1(直覺題):你問模型「這張圖裡有幾個人」,這屬於 VQA 嗎?
是,因為它要根據圖片回答文字問題。
Q2(判斷題):如果題目只要模型寫出圖片內容摘要,還算同一類嗎?
比較接近圖像描述,不完全是 VQA。
常見問題
需要,至少要能把問題對應到圖中的區域或物件。
聊天機器人主要處理文字,VQA 還要加上影像。
因為很多 VQA 資料集本來就以短答案為主。
相關術語
來源
這個術語目前沒有標註外部來源。
其他格式:Markdown 版本