iPAS 備考專區 登入

iPAS AI 應用規劃師題庫・中級・L23 機器學習技術與應用

iPAS 考題解析Multi-Head Attention 的主要優點為何?

來源標記:114年第二梯次中級科目三

你的作答

解析

正確答案:C. 從不同表示子空間同時捕捉多樣化的關聯模式

多頭注意力把注意力拆成多個「頭」,每個頭在不同的子空間學習不同的關聯模式。就像多個偵探從不同角度調查同一案件。

每個選項為什麼對或錯

  • A 減少模型參數 錯誤選項

    多頭反而增加參數(多組 QKV 權重矩陣)

  • B 加速注意力計算 錯誤選項

    多頭的目的是多樣性不是速度,計算量和單頭差不多

  • C 從不同表示子空間同時捕捉多樣化的關聯模式 正解

  • D 避免梯度消失 錯誤選項

    Multi-Head Attention 不直接解決梯度消失(Vanishing Gradient)

答案、題目或解析有問題?回報這題

題目 © 經濟部產業發展署,AITerms.tw 僅作教學解析使用,本站解析以 CC BY-NC-SA 4.0 授權。