iPAS 考題解析在 Transformer 架構中，「多頭注意力（Multi-Head Attention）」相比單頭注意力的主要優勢為何？

解析

正確答案：C. 允許模型同時從不同的表示子空間捕捉不同層次的語境資訊

多頭注意力將查詢、鍵、值投影到多個不同的子空間，每個「頭」可學習關注不同類型的依賴關係（如語法、語義、位置等），最後將各頭的輸出拼接。這使模型能從多個角度同時分析輸入，比單一注意力頭更豐富。

每個選項為什麼對或錯

• A 減少模型參數量，加速推理速度 錯誤選項

  多頭注意力不減少參數量，反而增加。

• B 允許模型關注整個輸入序列的單一表示 錯誤選項

  單頭注意力才是捕捉單一表示，多頭捕捉多種表示。

• C 允許模型同時從不同的表示子空間捕捉不同層次的語境資訊 正解

  多頭注意力能同時從多個子空間捕捉不同層次資訊，此為正確描述。

• D 替代位置編碼提供序列位置信息 錯誤選項

  位置編碼是獨立機制，多頭注意力不替代它。

答案、題目或解析有問題？回報這題

題目 © 經濟部產業發展署，AITerms.tw 僅作教學解析使用，本站解析以 CC BY-NC-SA 4.0 授權。