iPAS 考題解析Multi-Head Attention 的主要優點為何?
你的作答
在題目頁作答不會存進學習紀錄,想留下紀錄可以到題庫練習。
解析
正確答案:C. 從不同表示子空間同時捕捉多樣化的關聯模式
多頭注意力把注意力拆成多個「頭」,每個頭在不同的子空間學習不同的關聯模式。就像多個偵探從不同角度調查同一案件。
每個選項為什麼對或錯
-
A 減少模型參數 錯誤選項
多頭反而增加參數(多組 QKV 權重矩陣)
-
B 加速注意力計算 錯誤選項
多頭的目的是多樣性不是速度,計算量和單頭差不多
-
C 從不同表示子空間同時捕捉多樣化的關聯模式 正解
-
D 避免梯度消失 錯誤選項
Multi-Head Attention 不直接解決梯度消失(Vanishing Gradient)
答案、題目或解析有問題?回報這題