分組查詢注意力 vs 多頭注意力機制
Grouped Query Attention vs Multi-Head Attention
分組查詢注意力 側重 一種高效的注意力機制，將多個查詢頭共享同一組鍵值頭，減少模型參數和記憶體消耗，同時保持性能不下降。，而 多頭注意力機制 側重 Transformer 的核心元件，透過多組平行的注意力運算同時捕捉輸入序列在不同子空間中的依賴關係。。
逐項比較
| 項目 | 分組查詢注意力 | 多頭注意力機制 |
|---|---|---|
| 一句定義 | 一種高效的注意力機制，將多個查詢頭共享同一組鍵值頭，減少模型參數和記憶體消耗，同時保持性能不下降。 | Transformer 的核心元件，透過多組平行的注意力運算同時捕捉輸入序列在不同子空間中的依賴關係。 |
| 常見標籤 | 大型語言模型、深度學習、神經網路、模型訓練 | Multi-Head Attention、多頭注意力、Transformer、自注意力、深度學習 |
| iPAS 關聯度 | 未知 | 未知 |
| 考生最常問 | 為什麼 GQA 能在減少參數的同時不損失性能？ | 注意力頭的數量（number of heads）對模型性能有什麼影響？ |