iPAS 考題解析在大型語言模型（LLM）的推論服務中，常透過請求批次處理（Batching）來提升系統效能。關於批次處理（Batching）機制的影響，下列敘述何者最正確？

解析

正確答案：A. Batching 可提升加速器資源使用效率並增加整體吞吐量（Throughput），但在部分情境下可能對單筆請求延遲造成影響

Batching 的主要效益是提高 GPU 等加速器的利用率並增加系統吞吐量，但因為需要等待湊滿一批請求再一起處理，可能對個別請求的延遲造成影響。這是批次處理的典型取捨。

每個選項為什麼對或錯

• A Batching 可提升加速器資源使用效率並增加整體吞吐量（Throughput），但在部分情境下可能對單筆請求延遲造成影響 正解

  Batching 提升資源利用率和吞吐量，但可能增加單筆延遲，描述正確（正確答案）。

• B Batching 主要用於加快單筆請求回應時間 錯誤選項

  Batching 的目的是提升整體吞吐量，不是加快單筆請求回應時間。

• C Batching 的效益主要來自降低記憶體使用量，對於吞吐量（Throughput）與延遲表現影響有限 錯誤選項

  Batching 的效益主要來自提升計算效率和吞吐量，非降低記憶體使用量。

• D Batching 在低併發（Concurrency）請求下，仍能明顯提升系統效能 錯誤選項

  低併發下請求數量少，Batching 的效益不明顯。

答案、題目或解析有問題？回報這題

題目 © 經濟部產業發展署，AITerms.tw 僅作教學解析使用，本站解析以 CC BY-NC-SA 4.0 授權。