可解釋人工智慧(Explainable AI)是什麼?

可解釋 AI 透過視覺化或簡化模型,讓複雜的黑箱模型預測決策過程能被人類理解、信任與稽核。|本頁含完整原理、應用場景、iPAS 考試重點與 3 個常見問答。

英文
Explainable AI
主題標籤
AI倫理與治理、模型評估、AI基礎
考點定位
中級
最後更新
2026/07/30
可解釋人工智慧(Explainable AI)是什麼? iPAS AI倫理與治理模型評估
術語快查

搜尋意圖: 如果你在找「可解釋人工智慧 是什麼」、「可解釋人工智慧 會怎麼考」或「可解釋人工智慧 和相近概念差在哪」,先看這頁的定義、考點定位與延伸比較。

TL;DR: 可解釋 AI 透過視覺化或簡化模型,讓複雜的黑箱模型預測決策過程能被人類理解、信任與稽核。

實用情境: 適合用在 iPAS 複習、面試快查與閱讀 AI 文章時快速校正概念邊界。

下一步: 先讀完定義,再往下看範例考題與延伸比較,把概念轉成可作答的判斷。

AI 給你一個結果時,你是不是也想知道它為什麼這樣判斷? 你可以把可解釋人工智慧想成,幫黑箱模型補上一層人看得懂的理由。 它其實就是用視覺化、特徵重要性、局部近似或規則化的方法,讓人能理解模型為什麼做出這個決策。

你可以把它想成一個把抽象概念拉回日常判斷的提示,先知道它解決什麼問題,再看技術細節。

容易混淆

可解釋 AI vs 黑箱模型 黑箱模型只給結果,不說原因,可解釋 AI 則盡量把理由攤開。

可解釋 AI vs 公平性 可解釋 AI 是看懂模型怎麼想,公平性是看模型有沒有系統性偏見,兩者相關但不相同。

可解釋性 vs 可視化 可視化只是表現形式之一,可解釋性還包括規則、反事實和局部代理模型。

最關鍵的區別: 你想知道的是「它怎麼判斷」,還是「它有沒有偏袒某些人」。

記住這句就好

看懂模型理由,才知道能不能信它。

實際案例

案例一:貸款審核 系統拒絕你的申請時,如果能指出是收入、負債比還是信用紀錄影響最大,使用者和審核人員都比較能接受。

案例二:醫療影像輔助 模型說某張 X 光片有異常時,若能標出可疑區域和關鍵特徵,醫師就能更快判斷是不是要進一步檢查。

深入了解

常見方法包括 LIME、SHAP、特徵重要性、注意力可視化和反事實解釋。LIME 會在單一案例附近建立局部近似模型,SHAP 會用貢獻分配的方式說明每個特徵影響了多少。可解釋 AI 的重點不是把模型變簡單,而是讓複雜模型的決策能被檢查、質疑和修正。

中英對照與常見說法

說法 出現場合
可解釋人工智慧、可解釋 AI 台灣正式用語
可解释人工智能 簡體寫法
Explainable AI 英文原名
XAI 標準縮寫
可解釋性(interpretability) 相近但不完全相同的詞

可解釋性(interpretability)與可說明性(explainability) 常被混用,比較嚴謹的區分是:可解釋性指模型本身結構透明、人直接看得懂(線性迴歸、淺決策樹);可說明性指模型是黑箱,但事後可以產生說明(SHAP、LIME、Grad-CAM)。

兩條路線

本質可解釋模型 事後說明方法
做法 一開始就選看得懂的模型 用複雜模型,再另外產生說明
代表 線性迴歸、邏輯斯迴歸、決策樹、廣義加性模型(GAM) SHAP、LIME、反事實解釋、Grad-CAM
說明的可信度 高,說明就是模型本身 中,說明是近似出來的
準確度 通常略低 通常較高

一個常被忽略的建議:在高風險場景先試本質可解釋模型。表格資料上,一個調好的廣義加性模型或淺樹的表現常常跟複雜模型只差一點點,但省下所有解釋方法的不確定性。「複雜模型一定比較準」在結構化資料上經常不成立。

主要的事後說明方法

SHAP 基於合作賽局的 Shapley 值,把預測值分配給各個特徵。它滿足幾個好的數學性質(加總等於預測值與基準值的差、對稱性),是目前最被信賴的方法。代價是計算成本高,樹模型有快速演算法,其他模型多半只能近似。

LIME 在單一樣本附近取樣並擬合一個簡單模型當作局部說明。快,但同一個樣本重跑兩次可能得到不同說明,穩定性是它的弱點。

反事實解釋(counterfactual explanation):回答「要改變什麼,結果才會不同」。貸款被拒的時候,「年收入再多 8 萬就會過」比「收入這個特徵的貢獻是 −0.32」有用得多。對終端使用者來說這通常是最實用的一種。

部分依賴圖(PDP)與個別條件期望(ICE):看某個特徵在不同取值下對預測的整體影響。

三個必須提醒的邊界

說明不等於因果。 特徵重要度說的是模型用了什麼,不是現實世界的因果關係。拿 SHAP 值當政策依據是常見的誤用。

說明本身可能不可靠。 有些方法通不過健全性檢查:把模型權重隨機打亂之後,產生的說明幾乎沒變,代表那份說明反映的不是模型行為。

不同對象需要不同說明。 監管機關要的是流程與稽核軌跡,工程師要的是除錯線索,被決策影響的當事人要的是「我該怎麼做才會不同」。用同一份 SHAP 圖應付三種對象,等於三個都沒滿足。

情境判斷

Q1(直覺題): 你要讓業務同事知道模型為什麼拒絕某個客戶,這時候是不是該加可解釋 AI?

→ 是,因為你需要的不只是結果,還要一個人看得懂的理由。

Q2(判斷題): 如果模型本來就很簡單,像線性回歸,還需不需要特別做可解釋 AI?

→ 看情況。簡單模型本身就比較容易解釋,但如果你要做稽核、法遵或對外溝通,還是可能需要更明確的解釋輸出。

iPAS 考題

Q1: 可解釋人工智慧最主要的目的之一是什麼? (A) 讓模型變得更深 (B) 讓模型決策更容易被人理解與稽核 (C) 讓訓練資料自動標註 (D) 讓損失函數自動消失

→ (B)。可解釋 AI 的核心就是把黑箱決策變成可理解、可檢查的資訊。

Q2: 下列哪一種方法最常被用來解釋單一預測案例? (A) LIME (B) K-means (C) Batch Normalization (D) Dropout

→ (A)。LIME 很常拿來做單一樣本的局部解釋。

常見問題

可解釋人工智慧和模型可解釋性有什麼不同?

模型可解釋性偏向模型本身容易被理解,可解釋 AI 則包含一整套把黑箱結果變成人能看懂的方法。

什麼時候應該使用可解釋人工智慧?

當決策會影響金錢、健康、法律或信任時,就很值得加上解釋層。

初學者學習可解釋人工智慧最常見的誤解是什麼?

很多人以為有了注意力熱圖就等於完成解釋,其實那只是其中一種訊號,不能單獨當成完整答案。

範例考題

在可解釋 AI(Explainable AI, XAI)的分類架構中,LIME(Local Interpretable Model-agnostic Explanations)屬於哪一類解釋技術?

  • A. 內建可解釋模型(Intrinsic Interpretability):模型本身具有透明的決策結構
  • B. 對話式解釋系統(Conversational AI Explainer):透過互動對話提供模型解釋
  • C. 後處理模型解釋(post-hoc):對已訓練模型提供外部解釋 ✓ 正確答案
  • D. 代理模型技術(Surrogate Model):訓練另一個簡單模型來完全取代原黑盒模型進行推論

解析:

LIME 是一種後處理(post-hoc)解釋技術,它不改變原始模型,而是在模型訓練完成後,透過局部近似的方式對已訓練模型的預測結果提供解釋。它與模型本身的結構無關(model-agnostic)。