iPAS 考題解析
對非常長的輸入序列進行推理（Inference），Transformer模型推理的主要計算瓶頸通常是什麼？
初級 人工智慧基礎概論
難度：進階 ★★★
考試範圍定位
- 考試等級
- 初級能力鑑定
- 考試科目
- 人工智慧基礎概論
- 知識主題
- 機器學習概念
- 能力指標
- 常見的機器學習模型（L11302）
本題屬於 iPAS AI 應用規劃師初級能力鑑定「人工智慧基礎概論」科目中的「機器學習概念」範疇， 對應的能力指標為「常見的機器學習模型」，涵蓋監督式、非監督式、半監督式、強化式、多模態、深度學習等核心知識點。 考生在準備這個範疇時，需要掌握相關的理論基礎與實務應用。
題目與選項
對非常長的輸入序列進行推理（Inference），Transformer模型推理的主要計算瓶頸通常是什麼？
- A. 模型輸出層產生文本的過程，因為每生成一個詞都必須重新訓練整個模型一次；
- B. 詞嵌入（Embedding）查找操作，因為其時間複雜度隨詞彙表大小指數級增長；
- C. Softmax函數的計算，因為對每個Token都需要執行繁重的運算；
- D. 自注意力層的計算和其記憶體使用，因為注意力矩陣的大小隨序列長度呈平方級增長 ✓ 正確答案
詳細解析
正確答案：D. 自注意力層的計算和其記憶體使用，因為注意力矩陣的大小隨序列長度呈平方級增長
Transformer 的自注意力（Self-Attention）計算複雜度為 O(n²)，注意力矩陣隨序列長度平方級增長，是長序列推理的主要瓶頸。
各選項逐一解析
理解每個選項為什麼對或錯，是真正掌握這個知識點的關鍵。以下逐一分析每個選項的含義與判斷依據。
A. 模型輸出層產生文本的過程，因為每生成一個詞都必須重新訓練整個模型一次； （不正確）
生成每個詞不需要重新訓練模型，推理和訓練是分開的過程
B. 詞嵌入（Embedding）查找操作，因為其時間複雜度隨詞彙表大小指數級增長； （不正確）
詞嵌入（Embedding）查找是 O(1) 的查表操作，不會指數級增長
C. Softmax函數的計算，因為對每個Token都需要執行繁重的運算； （不正確）
Softmax 計算相對輕量，不是主要瓶頸
延伸學習
本題尚未連結特定術語，你可以從以下常見主題開始探索相關知識。
進階題備考建議
- ▶ 本題屬於進階難度，涉及技術原理的深入理解或跨領域整合應用，需要紮實的基礎。
- ▶ 進階題通常需要你綜合多個知識點才能判斷，建議建立知識圖譜，把相關概念串聯起來。
- ▶ 如果這題答錯了，建議回頭複習相關的基礎概念，確保每一層知識都沒有漏洞。
- ▶ 中級考試的進階題佔比較高，建議先把初級範圍的基礎打穩，再挑戰中級進階題。
同主題考題練習
以下題目與本題屬於相同的考試範疇，建議一併練習以加強對該主題的掌握程度。
iPAS AI 應用規劃師認證簡介
iPAS AI 應用規劃師能力鑑定是經濟部產業發展署推動的國家級 AI 證照制度， 分為「初級」與「中級」兩個等級。初級考試包含「人工智慧基礎概論」和「生成式 AI 應用與規劃」兩個科目， 著重基本概念的理解與應用。中級考試涵蓋「AI 技術應用與規劃」「大數據處理分析與應用」「機器學習技術與應用」三個科目， 要求考生具備更深入的技術知識與實務能力。 本題來自初級考試範圍，適合正在準備初級認證的考生練習。
開始準備 iPAS 考試
本題來自 iPAS AI 應用規劃師初級考試。 想通過 iPAS 認證？從完整題庫練習開始，搭配術語詞典與備考攻略，系統化提升你的 AI 知識。