注意力機制（Attention Mechanism）

注意力機制是一種讓模型在處理序列資料時，自動聚焦於輸入中最相關部分的計算方法，是 Transformer 架構的核心運算單元。

完整說明

注意力機制（Attention Mechanism）最早由 Bahdanau 等人於 2014 年提出，用於改善機器翻譯中的序列對齊問題。其核心思想是讓模型在生成輸出的每一步，都能根據「相關性」動態分配不同的權重給輸入序列中的各個位置。自注意力（Self-Attention）是其重要變體，讓序列中的每個元素都能與同一序列中的所有其他元素計算相關性。Transformer 中的多頭注意力（Multi-Head Attention）進一步擴展了這個概念，透過多組平行的注意力運算來捕捉不同面向的語意關係。

iPAS 考試出題分析

根據歷年 iPAS AI 應用規劃師考古題統計，注意力機制 相關題目 平均佔 AI 技術類考題 8%， 屬於高頻考範圍。

常見出題方向包含：注意力計算原理（佔 50%）、自注意力與交叉注意力差異（佔 30%）、Q/K/V 概念（佔 20%）。

相關術語

屬於

常見問題

什麼是 Q、K、V？

Q（Query）、K（Key）、V（Value）是注意力機制中的三個核心向量。Query 代表「我在找什麼」，Key 代表「我有什麼特徵」，Value 代表「我攜帶的實際資訊」。注意力分數透過 Q 和 K 的點積計算，再用來加權 V。

注意力機制和人類的注意力有什麼關係？

概念上相似但機制不同。人類注意力是選擇性聚焦，而模型的注意力機制是為所有輸入計算「重要性權重」，讓模型自動學會該關注哪些部分，是一種軟性的加權選擇。

範例考題

在注意力機制中，Q（Query）、K（Key）、V（Value）三個向量的作用分別是什麼？

  • .
  • .
  • .
  • .

解析：

Query（查詢）代表「我在找什麼資訊」，Key（鍵）代表「我的特徵標籤是什麼」，Value（值）代表「我攜帶的實際內容」。注意力分數透過 Q 與 K 的點積計算得出，再用來加權 V 以獲得最終輸出。

延伸學習

深入了解 注意力機制 的完整運作原理

延伸學習

想看 注意力機制 的完整影片教學？前往 美第奇 AI 學院

立即測驗

想測試你對 注意力機制 的掌握程度？ 開始模擬考