AITerms 登入
深度學習自然語言處理神經網路

自注意力(Self-Attention)是什麼?

自注意力是一種機制,讓序列中的每個元素計算彼此關聯度,藉此捕捉序列內部的依賴關係

完整定義

自注意力是一種注意力機制,用於讓模型關注輸入序列中不同位置之間的關係。它能夠計算序列中每個位置與其他位置的相關性,並根據這些相關性加權求和,從而捕捉序列中的長距離依賴關係。自注意力在自然語言處理任務中被廣泛應用,例如機器翻譯和文本摘要。

白話說明

你讀一句話時,會不會自然把注意力放到真正有關的字上?

你可以把自注意力想成句子裡每個詞都互相看一眼,再決定誰對誰最重要。

它重要是因為 Transformer 之類的模型,靠的就是這種全局關聯能力。

記住這句

句子裡每個詞都能互相打分,這就是自注意力。

比喻:自注意力就像一個小組開會,每個人發言時,都會仔細聆聽其他組員說了什麼,並權衡這些話對自己發言內容的重要性,找出關鍵資訊。

容易混淆

自注意力 vs 注意力機制

自注意力是同一序列內部互相看

注意力機制是更廣的總稱

最關鍵的區別是子集合還是總概念。

自注意力 vs RNN

自注意力可以同時看整個序列

RNN 是一步接一步處理

最關鍵的區別是並行全看還是順序讀。

實際案例

機器翻譯

模型在翻譯一個代名詞時,能回頭看前文的主詞,讓翻譯更準。

長文摘要

模型可以同時看標題、段落和關鍵句,而不是只記住前幾個字。

演算法與應用

常見流程是把輸入變成 Query、Key、Value,再算權重做加權和。

它能處理長距離依賴,但計算量通常是 O(n^2)。

位置編碼很重要,因為注意力本身不會自動知道詞序。

情境判斷

Q1(直覺題):如果一句話裡前後兩個詞相隔很遠,但模型還能把它們連起來,靠的常是什麼?

常常是自注意力。

Q2(判斷題):自注意力既然能看全句,就不需要位置資訊了嗎?

不是。沒有位置編碼,模型通常不知道詞的先後順序。

常見問題

出現在這些考古題

官方公告試題的逐題解析裡,這 5 題把自注意力列為延伸術語。

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本