某雲端服務公司計畫將大型語言模型部署於線上系統，並以批次推論（Batch Inference）方式處理每日上百萬筆用戶請求。專案團隊在評估可能遇到的挑戰時，下列哪一項通常不會被視為批次推論階段的主要難題？
iPAS 考題解析
某雲端服務公司計畫將大型語言模型部署於線上系統，並以批次推論（Batch Inference）方式處理每日上百萬筆用戶請求。專案團隊在評估可能遇到的挑戰時，下列哪一項通常不會被視為批次推論階段的主要難題？
- A. 如何確保訓練語料的涵蓋性與標註品質，以避免模型偏差影響輸出； ✓ 正確答案
- B. 當批次規模增大時，如何降低推論延遲並保持即時回應能力；
- C. 在推論過程中，有效管理與分配龐大的輸入資料量以避免資源壅塞；
- D. 在叢集環境中精確安排推論任務，以提升 GPU/TPU 等硬體資源的利用率
詳細解析
訓練語料的涵蓋性與標註品質屬於模型訓練階段的問題，不是批次推論階段的挑戰。批次推論階段主要關注的是延遲控制、資源管理和硬體利用率等部署與運行時的問題。
出題年份：114 難度：★★☆