動態批處理 Dynamic Batching
根據系統負載和數據可用性,動態調整批次大小和處理時機的推理最佳化技術,用於平衡吞吐量和延遲。
模型部署大型語言模型推理優化
瀏覽 AITerms.tw 中標籤為「推理優化」的 AI 術語,快速找到定義、FAQ 與 iPAS 考試重點。
目前篩選:標籤「推理優化」,共 3 個術語。
同一術語可隸屬多個主題,因此主題數量會重複計算。
主題標籤
A-Z 快速導覽
目前篩選:標籤「推理優化」 ,共 3 個術語
清除篩選 同一術語可隸屬多個主題,因此主題數量會重複計算。