iPAS 考題解析
當Transformer模型發生「注意力分佈過於平均（Attention Collapse）」的情形時，導致模型無法有效聚焦於關鍵資訊，下列哪一項策略可有效改善此問題？
中級 人工智慧技術應用與規劃
難度：中等 ★★☆ 114 年考題
考試範圍定位
- 考試等級
- 中級能力鑑定
- 考試科目
- AI 技術應用與規劃
- 知識主題
- AI 相關技術應用
- 能力指標
- 自然語言處理技術與應用（L21101）
本題屬於 iPAS AI 應用規劃師中級能力鑑定「AI 技術應用與規劃」科目中的「AI 相關技術應用」範疇， 對應的能力指標為「自然語言處理技術與應用」，涵蓋NLP、文本分類、情感分析、NER、機器翻譯等核心知識點。 考生在準備這個範疇時，需要掌握相關的理論基礎與實務應用。
題目與選項
當Transformer模型發生「注意力分佈過於平均（Attention Collapse）」的情形時，導致模型無法有效聚焦於關鍵資訊，下列哪一項策略可有效改善此問題？
- A. 提高Query-Key點積（Dot Product）的縮放常數
- B. 在Softmax前加入高斯雜訊（Gaussian Noise）
- C. 使用ReLU函數取代Softmax
- D. 對注意力權重施加稀疏化約束（Sparsity Constraint） ✓ 正確答案
詳細解析
正確答案：D. 對注意力權重施加稀疏化約束（Sparsity Constraint）
對注意力權重施加稀疏化約束，可強制模型將注意力集中於少數關鍵位置，而非平均分散在所有位置，從而解決注意力崩潰（Attention Collapse）問題，使模型聚焦關鍵資訊。
各選項逐一解析
理解每個選項為什麼對或錯，是真正掌握這個知識點的關鍵。以下逐一分析每個選項的含義與判斷依據。
A. 提高Query-Key點積（Dot Product）的縮放常數 （不正確）
提高縮放常數會使點積更大，可能加劇Softmax飽和問題，反而更平均。
B. 在Softmax前加入高斯雜訊（Gaussian Noise） （不正確）
加入高斯雜訊會增加隨機性，無法有效集中注意力。
C. 使用ReLU函數取代Softmax （不正確）
ReLU不會生成加總為1的機率分佈，不適合取代注意力中的Softmax。
D. 對注意力權重施加稀疏化約束（Sparsity Constraint） （正確）
稀疏化約束直接限制注意力只能聚焦於少數重要位置，是解決注意力平均化的有效方法。
延伸學習
本題尚未連結特定術語，你可以從以下常見主題開始探索相關知識。
中等題備考建議
- ▶ 本題屬於中等難度，需要理解概念之間的關聯與應用情境，不能只靠死背定義。
- ▶ 中等難度的題目常考「為什麼」和「怎麼用」，建議整理各技術的優缺點比較表。
- ▶ 練習時注意錯誤選項的陷阱設計，很多時候錯誤選項只有一兩個字的差異，需要仔細辨別。
- ▶ 建議用「費曼學習法」，嘗試向別人解釋這道題的解題思路，能講清楚就代表真正理解了。
同主題考題練習
以下題目與本題屬於相同的考試範疇，建議一併練習以加強對該主題的掌握程度。
某企業即將部署 AI 模型至現有營運系統，進入系統整合測試階段。測試工程師需確認所有模組在實際環境中能正確協同運作。下列哪項驗證最應優先執行？
中級 人工智慧技術應用與規劃 難度 ★★☆ 114 年
在訓練模型時，若數據中出現特徵尺度差異極大（例如：年齡為 0–100、收入為 0–1,000,000），容易導致模型偏向特定特徵。為提升模型效能與穩定性，以下哪一種預處理方式最能有效解決此問題？
中級 人工智慧技術應用與規劃 難度 ★★☆ 114 年
某線上音樂平台希望根據用戶的聽歌與查詢行為，將用戶劃分為不同的類型。若事前沒有定義用戶類型，下列哪一種模型最適合用於此任務？
中級 人工智慧技術應用與規劃 難度 ★★☆ 114 年
iPAS AI 應用規劃師認證簡介
iPAS AI 應用規劃師能力鑑定是經濟部產業發展署推動的國家級 AI 證照制度， 分為「初級」與「中級」兩個等級。初級考試包含「人工智慧基礎概論」和「生成式 AI 應用與規劃」兩個科目， 著重基本概念的理解與應用。中級考試涵蓋「AI 技術應用與規劃」「大數據處理分析與應用」「機器學習技術與應用」三個科目， 要求考生具備更深入的技術知識與實務能力。 本題來自中級考試範圍，需要具備紮實的技術基礎才能正確作答。
開始準備 iPAS 考試
本題來自 114 年 AI 應用規劃師中級考試。 想通過 iPAS 認證？從完整題庫練習開始，搭配術語詞典與備考攻略，系統化提升你的 AI 知識。