可解釋人工智慧 是什麼？

Explainable AI：可解釋人工智慧 的完整解釋

可解釋 AI 透過視覺化或簡化模型，讓複雜的黑箱模型預測決策過程能被人類理解、信任與稽核。

容易混淆

可解釋 AI vs 黑箱模型 黑箱模型只給結果，不說原因，可解釋 AI 則盡量把理由攤開。

可解釋 AI vs 公平性 可解釋 AI 是看懂模型怎麼想，公平性是看模型有沒有系統性偏見，兩者相關但不相同。

可解釋性 vs 可視化 可視化只是表現形式之一，可解釋性還包括規則、反事實和局部代理模型。

最關鍵的區別： 你想知道的是「它怎麼判斷」，還是「它有沒有偏袒某些人」。

記住這句就好

看懂模型理由，才知道能不能信它。

實際案例

案例一：貸款審核 系統拒絕你的申請時，如果能指出是收入、負債比還是信用紀錄影響最大，使用者和審核人員都比較能接受。

案例二：醫療影像輔助 模型說某張 X 光片有異常時，若能標出可疑區域和關鍵特徵，醫師就能更快判斷是不是要進一步檢查。

深入了解

常見方法包括 LIME、SHAP、特徵重要性、注意力可視化和反事實解釋。LIME 會在單一案例附近建立局部近似模型，SHAP 會用貢獻分配的方式說明每個特徵影響了多少。可解釋 AI 的重點不是把模型變簡單，而是讓複雜模型的決策能被檢查、質疑和修正。

中英對照與常見說法

可解釋性（interpretability）與可說明性（explainability） 常被混用，比較嚴謹的區分是：可解釋性指模型本身結構透明、人直接看得懂（線性迴歸、淺決策樹）；可說明性指模型是黑箱，但事後可以產生說明（SHAP、LIME、Grad-CAM）。

兩條路線

一個常被忽略的建議：在高風險場景先試本質可解釋模型。表格資料上，一個調好的廣義加性模型或淺樹的表現常常跟複雜模型只差一點點，但省下所有解釋方法的不確定性。「複雜模型一定比較準」在結構化資料上經常不成立。

主要的事後說明方法

SHAP 基於合作賽局的 Shapley 值，把預測值分配給各個特徵。它滿足幾個好的數學性質（加總等於預測值與基準值的差、對稱性），是目前最被信賴的方法。代價是計算成本高，樹模型有快速演算法，其他模型多半只能近似。

LIME 在單一樣本附近取樣並擬合一個簡單模型當作局部說明。快，但同一個樣本重跑兩次可能得到不同說明，穩定性是它的弱點。

反事實解釋（counterfactual explanation）：回答「要改變什麼，結果才會不同」。貸款被拒的時候，「年收入再多 8 萬就會過」比「收入這個特徵的貢獻是 −0.32」有用得多。對終端使用者來說這通常是最實用的一種。

部分依賴圖（PDP）與個別條件期望（ICE）：看某個特徵在不同取值下對預測的整體影響。

三個必須提醒的邊界

說明不等於因果。 特徵重要度說的是模型用了什麼，不是現實世界的因果關係。拿 SHAP 值當政策依據是常見的誤用。

說明本身可能不可靠。 有些方法通不過健全性檢查：把模型權重隨機打亂之後，產生的說明幾乎沒變，代表那份說明反映的不是模型行為。

不同對象需要不同說明。 監管機關要的是流程與稽核軌跡，工程師要的是除錯線索，被決策影響的當事人要的是「我該怎麼做才會不同」。用同一份 SHAP 圖應付三種對象，等於三個都沒滿足。

情境判斷

Q1（直覺題）： 你要讓業務同事知道模型為什麼拒絕某個客戶，這時候是不是該加可解釋 AI？

→ 是，因為你需要的不只是結果，還要一個人看得懂的理由。

Q2（判斷題）： 如果模型本來就很簡單，像線性回歸，還需不需要特別做可解釋 AI？

→ 看情況。簡單模型本身就比較容易解釋，但如果你要做稽核、法遵或對外溝通，還是可能需要更明確的解釋輸出。

可解釋人工智慧 在 iPAS 考試中的重點

根據歷年統計，可解釋人工智慧 相關題目 平均佔 AI 技術類考題 3%， 屬於未分類考範圍。

常見出題方向：AI 模型可解釋性技術（40%）、AI 倫理與決策透明度（35%）、可信賴 AI 系統設計（25%）。

常見問題

可解釋人工智慧和模型可解釋性有什麼不同？

模型可解釋性偏向模型本身容易被理解，可解釋 AI 則包含一整套把黑箱結果變成人能看懂的方法。

什麼時候應該使用可解釋人工智慧？

當決策會影響金錢、健康、法律或信任時，就很值得加上解釋層。

初學者學習可解釋人工智慧最常見的誤解是什麼？

很多人以為有了注意力熱圖就等於完成解釋，其實那只是其中一種訊號，不能單獨當成完整答案。