iPAS 考題解析
在大型語言模型(LLM)的效能優化中,Flash Attention 常被用來改善 Transformer 注意力機制的運算效率。關於 Flash Attention 的主要效益,下列敘述何者最正確?
考試範圍定位
- 考試等級
- 初級能力鑑定
- 考試科目
- 人工智慧基礎概論
- 知識主題
- 機器學習概念
- 能力指標
- 常見的機器學習模型(L11302)
本題屬於 iPAS AI 應用規劃師初級能力鑑定「人工智慧基礎概論」科目中的「機器學習概念」範疇, 對應的能力指標為「常見的機器學習模型」,涵蓋監督式、非監督式、半監督式、強化式、多模態、深度學習等核心知識點。 考生在準備這個範疇時,需要掌握相關的理論基礎與實務應用。
題目與選項
在大型語言模型(LLM)的效能優化中,Flash Attention 常被用來改善 Transformer 注意力機制的運算效率。關於 Flash Attention 的主要效益,下列敘述何者最正確?
- A. 透過忽略影響較小的注意力權重,減少模型需要計算的關聯數量,以降低運算成本
- B. 透過調整注意力計算與資料處理方式,減少中間結果的儲存需求,進而改善速度與資源使用效率 ✓ 正確答案
- C. 透過增加注意力計算的並行程度,使模型可同時處理更多注意力頭部
- D. 透過將注意力結果暫存於高速快取記憶體,以避免重複計算造成延遲
詳細解析
正確答案:B. 透過調整注意力計算與資料處理方式,減少中間結果的儲存需求,進而改善速度與資源使用效率
Flash Attention 的核心創新是透過 tiling(分塊)技術和重新排列計算順序,減少對 GPU 高頻寬記憶體(HBM)的讀寫次數,降低中間結果的儲存需求,從而提升速度和記憶體使用效率。
各選項逐一解析
理解每個選項為什麼對或錯,是真正掌握這個知識點的關鍵。以下逐一分析每個選項的含義與判斷依據。
A. 透過忽略影響較小的注意力權重,減少模型需要計算的關聯數量,以降低運算成本 (不正確)
忽略注意力權重是稀疏注意力的做法,Flash Attention 不丟棄任何計算。
B. 透過調整注意力計算與資料處理方式,減少中間結果的儲存需求,進而改善速度與資源使用效率 (正確)
Flash Attention 透過分塊計算減少中間結果儲存,改善速度與記憶體效率(正確答案)。
C. 透過增加注意力計算的並行程度,使模型可同時處理更多注意力頭部 (不正確)
增加並行程度不是 Flash Attention 的主要機制。
D. 透過將注意力結果暫存於高速快取記憶體,以避免重複計算造成延遲 (不正確)
Flash Attention 的重點是減少記憶體讀寫,不是快取暫存。
本題涉及的 AI 術語
深入理解以下術語,有助於掌握本題背後的核心概念,也能幫助你在遇到相似題目時更快判斷正確答案。
中等題備考建議
- ▶ 本題屬於中等難度,需要理解概念之間的關聯與應用情境,不能只靠死背定義。
- ▶ 中等難度的題目常考「為什麼」和「怎麼用」,建議整理各技術的優缺點比較表。
- ▶ 練習時注意錯誤選項的陷阱設計,很多時候錯誤選項只有一兩個字的差異,需要仔細辨別。
- ▶ 建議用「費曼學習法」,嘗試向別人解釋這道題的解題思路,能講清楚就代表真正理解了。
同主題考題練習
以下題目與本題屬於相同的考試範疇,建議一併練習以加強對該主題的掌握程度。
關於機器學習不同的學習模式,下列敘述何者錯誤? 1. 監督式學習(Supervised Learning)透過已標註資料學習輸入與目標之間的對應關係,常見任務包含分類與數值預測。 2. 非監督式學習(Unsupervised Learning)雖不需標註資料,但通常需預先定義每筆資料的正確輸出類別以利模型收斂。 3. 半監督式學習(Semi-supervised Learning)在訓練過程中僅利用未標註資料進行特徵學習,並不涉及標註資料。 4. 自監督式學習(Self-supervised Learning)的訓練方式與監督式學習相同,皆需人工逐筆提供標註資料。 5. 強化式學習(Reinforcement Learning)透過與環境互動並依據回饋訊號調整策略,以優化決策行為。 6. 自監督式學習(Self-supervised Learning)通常利用資料本身產生訓練目標,以降低對人工標註資料的依賴。
下列哪一項應用情境與機器學習類型搭配正確?
下列何者不符合非監督式學習(Unsupervised Learning)的典型特徵?
iPAS AI 應用規劃師認證簡介
iPAS AI 應用規劃師能力鑑定是經濟部產業發展署推動的國家級 AI 證照制度, 分為「初級」與「中級」兩個等級。初級考試包含「人工智慧基礎概論」和「生成式 AI 應用與規劃」兩個科目, 著重基本概念的理解與應用。中級考試涵蓋「AI 技術應用與規劃」「大數據處理分析與應用」「機器學習技術與應用」三個科目, 要求考生具備更深入的技術知識與實務能力。 本題來自初級考試範圍,適合正在準備初級認證的考生練習。
開始準備 iPAS 考試
本題來自 115 年 AI 應用規劃師初級考試。 想通過 iPAS 認證?從完整題庫練習開始,搭配術語詞典與備考攻略,系統化提升你的 AI 知識。