完整定義
批次推論是一種模型部署策略,它將大量輸入資料收集起來,然後一次性地將這些資料輸入到已訓練好的機器學習模型中進行預測。這種方法適用於對延遲要求不高的應用,例如定期生成報告、離線資料分析或大規模資料的預處理。
白話說明
不是每個預測都需要立刻回應,像月底批次算分數就可以慢一點嗎?
你可以把批次推論想成把一大批資料一次丟給模型預測,重點是吞吐量不是延遲。
它適合離線分析、報表生成與不急著出結果的任務。
記住這句
不急的預測集中做,省成本又好排程
比喻:批次推論就像是把一大堆衣服丟進洗衣機裡「一次洗完」-- 它不是一件一件地洗(即時推論),而是累積到一定的量後,再集中處理,這樣雖然要等比較久,但整體效率更高,適合那些不需要馬上得到結果的工作。
容易混淆
批次推論 vs 即時推論?
批次推論:一次處理很多筆資料
即時推論:一筆來就立刻回應
最關鍵的區別:批次看吞吐量,即時看延遲
批次推論 vs 模型訓練?
批次推論:適合離線任務
模型訓練:是在更新模型參數
最關鍵的區別:推論是用模型做預測,訓練是讓模型學習
批次推論 vs 串流推論?
批次推論:常搭配排程工作
串流推論:資料來一筆就處理一筆
最關鍵的區別:批次像夜班工廠,串流像即時櫃台
實際案例
每晚信用評分
銀行把當天累積的客戶資料一起跑分,隔天交給業務或風控使用
推薦清單更新
平台每天清晨批次算好個人推薦結果,使用者白天打開 App 就能直接看到
演算法與應用
- 重點
- 優點
- 你要看什麼
- 高吞吐、易排程
- 為什麼重要
- 大量資料時更省資源
- 重點
- 限制
- 你要看什麼
- 延遲高
- 為什麼重要
- 不適合要立刻回應的場景
- 重點
- 配套
- 你要看什麼
- 排程、佇列、批次大小
- 為什麼重要
- 影響整體效率與穩定性
情境判斷
Q1:如果你要每天產出一次報表,批次推論合不合適?
很合適,因為它本來就是為不急著回應的場景設計
Q2:若使用者下單時必須立刻給風險分數,還適合批次推論嗎?
通常不適合,這種需求應該改用即時推論
常見問題
通常單位成本較低,但如果資料很少或頻率很高,未必最省。
要看記憶體、模型大小與吞吐需求,通常需要實測。
可以,很多系統會同時保留兩種模式。
範例考題
在 AI 推論服務架構設計中,「批次推論(Batch Inference)」與「即時推論(Real-time Inference)」常依任務特性選擇不同機制。下列關於兩者特性的敘述何者最正確?
- A批次推論通常以同步請求方式回傳結果,以確保資料一致性;即時推論則多採非同步機制以提升系統吞吐量(Throughput)
- B批次推論多用於延遲容忍度較高的大規模資料處理,通常以吞吐量(Throughput)最佳化為優先;即時推論則著重於請求回應時間的穩定性與低延遲特性
- C批次推論因計算資源需求高,僅適用於影像類模型;即時推論則主要應用於結構化資料模型
- D即時推論為確保回應速度,通常限制為單筆資料輸入;批次推論則可支援同步多筆資料即時回傳
正解是 B:批次推論多用於延遲容忍度較高的大規模資料處理,通常以吞吐量(Throughput)最佳化為優先;即時推論則著重於請求回應時間的穩定性與低延遲特性
解析:批次推論適合大規模資料處理且對延遲容忍度較高的場景,以吞吐量最佳化為目標。即時推論則注重每次請求的回應時間穩定性與低延遲,適合需要即時結果的應用。
出現在這些考古題
官方公告試題的逐題解析裡,有 7 題把批次推論列為延伸術語,這裡列出 5 題。
相關術語
來源
這個術語目前沒有標註外部來源。
其他格式:Markdown 版本