iPAS 考題解析對非常長的輸入序列進行推理（Inference），Transformer 模型推理的主要計算瓶頸通常是什麼？

解析

正確答案：D. 自注意力層的計算和其記憶體使用，因為注意力矩陣的大小隨序列長度呈平方級增長

Transformer 的自注意力機制需要計算序列中每個 Token 與所有其他 Token 的注意力分數，產生 N*N 的注意力矩陣（N 為序列長度）。計算量和記憶體使用都隨序列長度呈 O(N^2) 增長，這是長序列推理的主要瓶頸。

每個選項為什麼對或錯

• A 模型輸出層產生文本的過程，因為每生成一個詞都必須重新訓練整個模型一次； 錯誤選項

  推理時不需要重新訓練模型，生成每個詞只需一次前向傳播，此描述完全錯誤。

• B 詞嵌入（Embedding）查找操作，因為其時間複雜度隨詞彙表大小指數級增長； 錯誤選項

  詞嵌入查找是簡單的表格查詢操作，時間複雜度為 O(1)，不是瓶頸。

• C Softmax 函數的計算，因為對每個 Token 都需要執行繁重的運算； 錯誤選項

  Softmax 計算雖然是注意力機制的一部分，但主要瓶頸在於注意力矩陣整體的 O(N^2) 規模。

• D 自注意力層的計算和其記憶體使用，因為注意力矩陣的大小隨序列長度呈平方級增長 正解

  自注意力的計算量和記憶體隨序列長度呈平方級增長，是長序列推理的核心瓶頸。

答案、題目或解析有問題？回報這題

題目 © 經濟部產業發展署，AITerms.tw 僅作教學解析使用，本站解析以 CC BY-NC-SA 4.0 授權。