某雲端服務公司計畫將大型語言模型部署於線上系統,並以批次推論(Batch Inference)方式處理每日上百萬筆用戶請求。專案團隊在評估可能遇到的挑戰時,下列哪一項通常不會被視為批次推論階段的主要難題?
iPAS 考題解析
某雲端服務公司計畫將大型語言模型部署於線上系統,並以批次推論(Batch Inference)方式處理每日上百萬筆用戶請求。專案團隊在評估可能遇到的挑戰時,下列哪一項通常不會被視為批次推論階段的主要難題?
- A. 如何確保訓練語料的涵蓋性與標註品質,以避免模型偏差影響輸出; ✓ 正確答案
- B. 當批次規模大時,如何降低推論延遲並保持即時回應能力;
- C. 在推論過程中,有效管理與分配龐大的輸入資料量以避免資源壅塞;
- D. 在叢集環境中精確安排推論任務,以提升GPU/TPU等硬體資源的利用率
詳細解析
訓練語料的涵蓋性與標註品質是訓練階段(Training Phase)的問題,不是批次(Batch)推論(Batch Inference)階段的主要挑戰。
難度:★★★