iPAS 考題解析某雲端服務公司計畫將大型語言模型部署於線上系統，並以批次推論（Batch Inference）方式處理每日上百萬筆用戶請求。專案團隊在評估可能遇到的挑戰時，下列哪一項通常不會被視為批次推論階段的主要難題？

解析

正確答案：A. 如何確保訓練語料的涵蓋性與標註品質，以避免模型偏差影響輸出；

訓練語料的涵蓋性與標註品質屬於模型訓練階段的問題，不是批次推論階段的挑戰。批次推論階段主要關注的是延遲控制、資源管理和硬體利用率等部署與運行時的問題。

每個選項為什麼對或錯

• A 如何確保訓練語料的涵蓋性與標註品質，以避免模型偏差影響輸出； 正解

  訓練語料的品質和涵蓋性是訓練階段的問題，不是批次推論階段的主要難題。

• B 當批次規模增大時，如何降低推論延遲並保持即時回應能力； 錯誤選項

  批次規模增大時的延遲控制是批次推論的核心挑戰之一。

• C 在推論過程中，有效管理與分配龐大的輸入資料量以避免資源壅塞； 錯誤選項

  管理龐大輸入資料量和避免資源壅塞是批次推論的重要挑戰。

• D 在叢集環境中精確安排推論任務，以提升 GPU/TPU 等硬體資源的利用率 錯誤選項

  在叢集環境中有效排程以提升硬體利用率是批次推論的關鍵挑戰。

答案、題目或解析有問題？回報這題

題目 © 經濟部產業發展署，AITerms.tw 僅作教學解析使用，本站解析以 CC BY-NC-SA 4.0 授權。