iPAS 備考專區 登入

iPAS AI 應用規劃師 初級 科目一 人工智慧基礎概論・115 年第一次・L11・第 29 題

顯著性圖(Saliency Map)在做什麼?

原題

在深度學習模型的分析與驗證過程中,研究人員有時會利用「顯著性圖(Saliency Map)」來輔助理解模型行為。下列何者最符合此技術的主要用途?

白話

深度學習研究人員在分析與驗證模型的過程中,有時會使用「顯著性圖(Saliency Map)」這個工具來幫助理解模型的行為。

問你:顯著性圖的主要用途是什麼?

一句話總結

顯著性圖把模型的「注意力」畫出來:在輸入資料上標示哪些區域對這次預測結果影響最大。

情境

先感受問題:模型說「這是貓」,你不知道它在看哪裡

假設「中華電信」的 AI 工程師訓練了一個影像辨識模型,用來辨識客服中心監視器拍到的入場人員。

模型對一張照片輸出「這是員工林先生」,準確率 97%。

但工程師想知道:模型是怎麼認出林先生的?是臉部特徵?是工作服顏色?還是背景裡偶然出現的某個標誌牌?

如果模型是靠背景的標誌牌來認人,那換個場景、沒有那個牌子,準確率就會崩潰。這個模型其實根本沒有學到「人臉辨識」,只是在記標誌牌的位置。

顯著性圖就是用來回答這個問題的:把模型預測「這是林先生」時,影像中哪些區域對這個結論貢獻最大,用熱力圖的方式疊加在原始照片上,讓工程師一眼就能看到模型在「看哪裡」。

舊方法

沒有顯著性圖,怎麼驗證模型行為

在顯著性圖出現之前,驗證深度學習模型「學到的是對的東西」非常困難:

  1. 只看準確率:測試集準確率高,但不代表模型學到了正確的特徵,可能只是記住了資料的偽關聯
  2. 資料偏差難發現:訓練資料裡「狼」的照片背景都是雪地,模型學到的是「有雪就是狼」,換個背景就失效,但光看準確率看不出來
  3. 除錯成本高:模型預測錯了,工程師不知道從哪裡找問題,只能猜
  4. 法規無法稽核:醫療、金融等場景需要解釋模型為什麼做出某個判斷,但無視覺化工具時完全無法說明
  5. 信任建立困難:業主和醫生不願意信任一個「不知道在看什麼」的黑盒模型,推廣阻力大

新方法

顯著性圖怎麼標示出影響區域

工程師把顯著性圖套用在「中華電信」的辨識模型上,對林先生的照片分析:

顯著性圖的基本原理:計算輸出預測值對輸入每個像素的梯度(斜率)。梯度越大,代表這個像素對預測結果影響越大;梯度越小,代表這個像素對結果幾乎沒影響。

把所有像素的梯度值轉成顏色深淺,疊加在原始照片上,就得到一張熱力圖:亮紅色區域是模型高度關注的地方,藍色區域是幾乎不在乎的地方。

如果熱力圖的高亮區域集中在林先生的臉部,說明模型學到了臉部特徵;如果高亮區域出現在背景的標誌牌上,說明模型學到了錯誤的東西,需要重新檢視訓練資料。

這就是選項 B 說的:標示輸入資料中對單一預測結果影響較大的區域或部分。

錯選項

為什麼其他選項是錯的

A量化各輸入特徵對模型整體預測準確度的平均影響程度

字面在說什麼

分析哪些特徵對模型整體的準確率影響最大,做全局的特徵重要性排名。

為什麼不對

顯著性圖是針對「單一預測」的局部解釋,不是分析整體準確率的全局工具。「量化整體影響程度」描述的更像是全局特徵重要性(Global Feature Importance),而不是顯著性圖。

誰會選錯

以為顯著性圖是衡量特徵對整體模型的影響,而不是針對個別圖片的解釋工具的人。顯著性圖每次分析的是一張圖片的一次預測,不是整個資料集的統計。

C評估在不同模型參數設定下,預測結果的穩定性變化

字面在說什麼

測試模型參數怎麼影響預測的穩定性,比如學習率不同時模型結果差多少。

為什麼不對

這描述的是超參數調整(Hyperparameter Tuning)或模型穩定性分析,與顯著性圖完全無關。顯著性圖是針對已訓練好的模型,解釋它的單次預測,不是比較不同模型參數設定下的行為差異。

誰會選錯

把「顯著性」誤解為「顯著差異」(統計顯著性)的人。Saliency Map 的「顯著性」是指對預測結果的重要程度,不是統計學上的顯著性。

D比較不同模型架構在測試資料上的泛化能力差異

字面在說什麼

比較 CNN 和 ViT 等不同架構在新資料上的泛化表現。

為什麼不對

這是模型選擇(Model Selection)或泛化能力評估的工作,通常用測試集準確率、F1 分數等評估指標來做,不是顯著性圖的用途。顯著性圖是解釋一個已選定模型的行為,不是比較多個模型的能力。

誰會選錯

以為「研究人員分析模型行為」就是在比較不同模型的人。分析模型行為有很多方式,顯著性圖的核心是「視覺化這個特定模型的注意力」,不是跨模型比較。

變形題

同個考點下次怎麼變形

延伸

想再往下看,這 5 個

答案、題目或解析有問題?回報這題

出處:iPAS 經濟部產業人才能力鑑定 ・ 115 年第一次 iPAS AI 應用規劃師 初級 科目一 人工智慧基礎概論 第 29 題

看官方原文 PDF

原題 © 經濟部產業發展署,AITerms.tw 僅作教學解析使用,本站解析以 CC BY-NC-SA 4.0 授權。