可解釋性 是什麼？
Explainability：可解釋性 的完整解釋
機器學習模型決策過程的透明度與可理解性，使用戶與利益相關者能理解模型為何做出特定預測。
核心概念
可解釋性涉及多個維度。首先是透明度：模型的架構與參數是否可被審視？其次是因果性：模型是否真的理解因果關係，還是只是相關性？第三是忠實性：解釋是否真實反映模型的決策過程，還是事後編造的故事？
可解釋性與準確性往往存在權衡。決策樹、線性模型等簡單模型天然可解釋，但精度可能較低。深度神經網絡精度高但難以解釋。因此實踐中需要權衡：
- 高風險應用(醫療、金融)優先考慮可解釋性，接受精度損失
- 低風險應用(推薦、廣告)可優先追求精度，可解釋性次要
- 關鍵決策過程必須可解釋，輔助決策可以用黑箱模型
運作原理
實現可解釋性的方法分為兩大類：
- 本質可解釋模型(Inherently Interpretable Models)：
- 線性迴歸：參數的符號與大小直接表示特徵的影響方向與強度
- 邏輯迴歸：輸出概率，決策邊界清晰
- 決策樹：分支對應人類可理解的規則
- 規則學習：生成if-then規則集合
- 廣義加性模型(GAM)：每個特徵的貢獻獨立可視
這些模型通常需要特徵工程以增強表達能力，精度可能低於複雜模型。
- 事後解釋方法(Post-hoc Explanation Methods)： 對已訓練的黑箱模型進行解釋，包括：
- 特徵重要性：衡量每個特徵對預測的貢獻度。包括基於樹分裂次數、基於排列重要性、基於梯度的方法。
- SHAP值：基於Shapley值的遊戲論方法，公平分配每個特徵的貢獻
- LIME：局部線性近似，在每個預測點附近用線性模型近似黑箱模型
- 注意力機制：在神經網絡中可視化模型關注的部位
- 特徵激活圖(CAM)：在卷積神經網絡中突出影響預測的區域
- 對抗樣本分析：研究微小改動如何影響預測
- 混合方法： 在保持精度的前提下增強可解釋性。例如知識蒸餾：用複雜模型的知識訓練簡單模型，使簡單模型達到接近複雜模型的精度同時保持可解釋性。
實際應用
在醫療診斷中，可解釋性至關重要。一個深度學習診斷模型若只說「患者有90%概率患病」但無法解釋為什麼，醫生難以信任。引入可解釋性(如指出模型關注的影像區域、相關症狀)能提升醫生的信心與接受度。
在信用審批中，法律要求提供拒貸理由。可解釋模型可說明「申請人的負債率過高」「工作穩定性不足」等。若用黑箱模型，必須事後進行解釋，這增加了系統複雜度。
在推薦系統中，可解釋性能提升用戶滿意度。相比於單純推薦商品，說明「基於你購買的歷史」「根據相似用戶的喜好」等能讓用戶更接受推薦。
在異常檢測中，可解釋性幫助診斷。若系統檢測到異常但無法說明原因，運維人員無法有效處理。可解釋的異常檢測能指出「流量峰值異常」「特定用戶行為異常」等。
常見誤區
誤區1：將可解釋性與簡單性混為一談。簡單模型(如線性)容易解釋，但複雜模型(如深度學習)也可以通過適當的方法進行解釋。關鍵不在模型複雜度，而在是否有解釋方法。
誤區2：認為事後解釋完全可信。事後解釋方法有其局限性，有時可能產生看起來合理但不真實的解釋。必須對解釋方法本身的可靠性進行驗證。
誤區3：過度簡化解釋。為了易於理解，有時解釋會遺漏重要細節或進行不當假設。應在簡潔性與準確性間找到平衡。
誤區4：忽視特殊人群的可解釋性需求。不同用戶(醫生、患者、監管部門)對解釋的需求不同。應設計針對性的解釋界面。
與相關技術的比較
- 與公平性的關係：可解釋性是實現公平性的前提。只有理解模型的決策過程，才能發現並糾正偏見。
- 與魯棒性的聯繫：可解釋性能幫助識別模型的脆弱點，改進其對對抗樣本的防禦。
- 與信任度的區別：可解釋性不等於可信。精確的解釋也可能用於欺騙性用途；反之，即使某個決策過程完全透明，若預測結果不准確，用戶仍會喪失信任。