AITerms 登入
深度學習自然語言處理電腦視覺

注意力可視化(Attention Visualization)是什麼?

注意力可視化是一種技術,用於呈現神經網路模型在處理輸入時,將注意力集中在哪些部分。它能幫助理解模型決策過程,並診斷潛在問題。

完整定義

注意力可視化是一種解釋性AI技術,旨在揭示神經網路模型在做出預測或決策時,將注意力集中在輸入數據的哪些區域。通過視覺化注意力權重,可以深入了解模型的推理過程,驗證其是否基於合理的特徵,並診斷模型可能存在的偏差或錯誤。

白話說明

你想知道模型在看哪個字、哪一塊圖,該怎麼把它畫出來?

你可以把注意力可視化想成一張熱圖,讓模型看重的部分直接浮出來。

它的用途是幫你理解模型,不是自動替模型證明因果關係。

記住這句

看得見不代表已經證明,只代表多了一個觀察角度

比喻:注意力可視化就像是給 AI 模型的「透視眼鏡」-- 我們能看到模型在處理圖片或文字時,到底把「眼神」放在哪裡,哪些部分對它來說最關鍵,就像看醫生怎麼診斷一樣。

容易混淆

注意力可視化 vs 可解釋人工智慧?

注意力可視化:把權重畫成圖,方便人看

可解釋人工智慧:更廣泛的理解模型方法集合

最關鍵的區別:可視化是 XAI 的一種工具,不是全部

注意力熱圖 vs 顯著圖?

注意力熱圖:看權重分佈

顯著圖:看輸入對輸出的敏感區域

最關鍵的區別:一個看注意力,一個看梯度敏感度

注意力可視化 vs 因果證明?

注意力可視化:幫助你觀察模型關注哪裡

因果證明:幫助你確認真正造成結果的原因

最關鍵的區別:前者是觀察窗口,後者需要更嚴格的實驗設計

實際案例

機器翻譯除錯

當翻譯結果怪怪的時候,工程師用熱圖檢查模型是不是把焦點放錯位置

文件問答

團隊拿可視化圖檢查模型是不是只盯著標題,卻忽略正文裡真正的答案句

深入了解

重點
輸出
你要看什麼
權重矩陣或熱圖
為什麼重要
把模型內部的關注關係畫成圖
重點
用途
你要看什麼
除錯與分析
為什麼重要
幫你發現模型是否看錯地方
重點
限制
你要看什麼
不是因果證據
為什麼重要
看到重點不等於證明原因

情境判斷

Q1:模型翻譯出錯時,先看注意力圖有沒有幫助?

有,至少能先判斷模型是不是把注意力放到不相關的位置

Q2:如果注意力圖看起來很漂亮,是否就能保證模型公平?

不能,漂亮不代表公平,還要看資料偏差、結果分佈與實際表現

常見問題

出現在這些考古題

官方公告試題的逐題解析裡,這 1 題把注意力可視化列為延伸術語。

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本