在 AI 推論服務架構設計中，「批次推論（Batch Inference）」與「即時推論（Real-time Inference）」常依任務特性選擇不同機制。下列關於兩者特性的敘述何者最正確？

iPAS 考題解析

在 AI 推論服務架構設計中，「批次推論（Batch Inference）」與「即時推論（Real-time Inference）」常依任務特性選擇不同機制。下列關於兩者特性的敘述何者最正確？

  • A. 批次推論通常以同步請求方式回傳結果，以確保資料一致性；即時推論則多採非同步機制以提升系統吞吐量（Throughput）
  • B. 批次推論多用於延遲容忍度較高的大規模資料處理，通常以吞吐量（Throughput）最佳化為優先；即時推論則著重於請求回應時間的穩定性與低延遲特性 ✓ 正確答案
  • C. 批次推論因計算資源需求高，僅適用於影像類模型；即時推論則主要應用於結構化資料模型
  • D. 即時推論為確保回應速度，通常限制為單筆資料輸入；批次推論則可支援同步多筆資料即時回傳

詳細解析

批次推論適合大規模資料處理且對延遲容忍度較高的場景，以吞吐量最佳化為目標。即時推論則注重每次請求的回應時間穩定性與低延遲，適合需要即時結果的應用。

出題年份：115 難度：★★☆