完整定義
機制性可解釋性是一種AI研究方向,目標是理解AI模型內部如何做出決策,不僅僅是觀察輸入和輸出之間的關係,而是深入了解模型內部神經元、權重和激活函數等組件如何協同工作,最終產生特定的結果。它試圖將模型的行為分解為更小的、可理解的組件,並理解這些組件如何相互作用。
白話說明
你有沒有想過,模型為什麼會在某一層突然認出「這是貓」?
你可以把機制性可解釋性想成,不只看模型輸出對不對,還要往內部拆出它到底靠哪個神經元、哪條路徑做出判斷。
它重要在於,當模型變得很大又很複雜時,只看結果不夠,你得知道它是怎麼想的。
記住這句
不是只問答對沒,而是追它怎麼答對。
比喻:機制性可解釋性就像拆解一個精密手錶 -- 不只是看它會報時,而是要理解每個齒輪、彈簧是怎麼協同運作,精確地知道為什麼它會走,而不是只看指針動了。
容易混淆
機制性可解釋性 vs 事後解釋
機制性可解釋性:直接研究模型內部機制和電路。
事後解釋:在模型外面做說明,例如特徵重要度。
最關鍵的區別:前者在拆內部結構,後者在做外部說明。
機制性可解釋性 vs 黑箱模型
機制性可解釋性:想把黑箱打開,找出可追蹤的因果路徑。
黑箱模型:只看輸入輸出,不追內部原因。
最關鍵的區別:一個要看懂裡面,一個接受看不懂。
實際案例
研究注意力頭的功能
研究者發現某些注意力頭專門處理括號配對或語法關係,這不是看分數而已,而是在找模型內部的分工。
找出錯誤觸發電路
如果模型在遇到某種字型就誤判,透過機制分析可以追到是哪一層、哪一組神經元被觸發。
演算法與應用
常見方法包括激活分析、探針、消融實驗和電路分析。
它關心的是因果機制,不只是相關性,所以常要反覆驗證某個組件拿掉後,輸出是否真的改變。
在大型語言模型上,這是理解能力、幻覺和安全風險的重要工具。
情境判斷
Q1(情境題): 你只要知道模型有沒有錯,不在乎內部怎麼運作,還需要做機制性可解釋性嗎?
不一定。若只是做一般報表,事後解釋可能夠用;但若要找 bug、理解風險或做安全稽核,還是需要往內部看。
Q2(情境題): 如果一個模型在不同資料集上都很準,就代表它的內部機制很好理解嗎?
不代表。高準確率不等於可解釋性,很多黑箱模型只是表現好,內部仍然很難拆。
常見問題
主要是,但不只限於神經網路。只要模型內部有可分析的中間表徵,就有機會做。
不一樣。可視化只是工具之一,機制性可解釋性更重視因果和內部結構。
因為模型越大,單靠輸出越難猜到它是不是學到偏見、捷徑或危險行為。
相關術語
來源
這個術語目前沒有標註外部來源。
其他格式:Markdown 版本