iPAS 考題解析
當 Transformer 模型發生「注意力分布過於平均（Attention Collapse）」的情形時，導致模型無法有效聚焦於關鍵資訊，下列哪一項策略可有效改善此問題？
中級 人工智慧技術應用與規劃
難度：基礎 ☆☆☆ 114 年考題
題目與選項
當 Transformer 模型發生「注意力分布過於平均（Attention Collapse）」的情形時，導致模型無法有效聚焦於關鍵資訊，下列哪一項策略可有效改善此問題？
- A. 提高 Query-Key 點積（Dot Product）的縮放常數
- B. 在 Softmax 前加入高斯雜訊（Gaussian Noise）
- C. 使用 ReLU 函數取代 Softmax
- D. 對注意力權重施加稀疏化約束（Sparsity Constraint） ✓ 正確答案
詳細解析
正確答案：D. 對注意力權重施加稀疏化約束（Sparsity Constraint）
解決 Attention Collapse 的方法：對注意力權重施加稀疏化約束（Sparsity Constraint），強迫模型只把注意力集中在少數幾個最重要的位置，不能讓所有位置的注意力都差不多。
延伸學習
本題尚未連結特定術語，你可以從以下常見主題開始探索相關知識。
中等題備考建議
- ▶ 本題屬於中等難度，需要理解概念之間的關聯與應用情境，不能只靠死背定義。
- ▶ 中等難度的題目常考「為什麼」和「怎麼用」，建議整理各技術的優缺點比較表。
- ▶ 練習時注意錯誤選項的陷阱設計，很多時候錯誤選項只有一兩個字的差異，需要仔細辨別。
- ▶ 建議用「費曼學習法」，嘗試向別人解釋這道題的解題思路，能講清楚就代表真正理解了。
同主題考題練習
以下題目與本題屬於相同的考試範疇，建議一併練習以加強對該主題的掌握程度。
在使用生成對抗網路（GAN）進行人臉影像生成時，若出現「模式崩潰」（Mode Collapse）現象，下列哪一種方法最常被用來有效解決此問題？
中級 人工智慧技術應用與規劃 難度 ☆☆☆ 114 年
某大型醫院即將部署一套輔助診斷的 AI 系統，為降低對臨床流程的衝擊，同時確保風險可控與回饋可收斂，應採取何種「漸進式部署」（Phased Rollout）策略最為合適？
中級 人工智慧技術應用與規劃 難度 ☆☆☆ 114 年
某企業的 AI 模型已部署於線上服務環境中，用於即時預測顧客流失機率。近期團隊注意到模型預測準確率逐漸下降，但系統運作正常且未出現錯誤訊息。經分析發現，近期輸入資料的分佈與模型訓練資料相比出現顯著偏移。若要在 MLOps 流程中主動偵測並預警此類問題，最應採用下列哪項措施？
中級 人工智慧技術應用與規劃 難度 ☆☆☆ 114 年
iPAS AI 應用規劃師認證簡介
iPAS AI 應用規劃師能力鑑定是經濟部產業發展署推動的國家級 AI 證照制度， 分為「初級」與「中級」兩個等級。初級考試包含「人工智慧基礎概論」和「生成式 AI 應用與規劃」兩個科目， 著重基本概念的理解與應用。中級考試涵蓋「AI 技術應用與規劃」「大數據處理分析與應用」「機器學習技術與應用」三個科目， 要求考生具備更深入的技術知識與實務能力。 本題來自中級考試範圍，需要具備紮實的技術基礎才能正確作答。
開始準備 iPAS 考試
本題來自 114 年 AI 應用規劃師中級考試。 想通過 iPAS 認證？從完整題庫練習開始，搭配術語詞典與備考攻略，系統化提升你的 AI 知識。