完整定義
在機器學習中,推論是指使用已訓練好的模型,基於輸入資料產生預測結果的過程。它代表了模型在訓練階段學習到的知識和模式的應用,將模型部署到實際應用中,對新數據進行分析和預測,以解決實際問題。
白話說明
你把模型訓練好之後,真正讓它替你判斷新資料的那一刻,為什麼大家會特別叫它推論?
你可以把它想成學生考試,把讀過的內容拿來回答新題目,重點是應用,不是再學一次。
推論是指利用已訓練好的機器學習模型,對新的、未曾見過的資料進行預測或判斷的過程。是模型部署後的核心環節。
記住這句
模型學完以後拿來算答案,這一步就是推論。
比喻:推論就像醫生看診 -- 醫生(模型)已經學會了診斷的知識(訓練),現在病人(新資料)來了,醫生根據所學判斷出病情(預測或判斷)。
容易混淆
訓練
訓練是在調整參數,推論是在固定參數下做預測,兩個階段的目標完全不同。
推理
推理偏向思考和論證,推論在機器學習裡是模型對新資料做輸出。
實際案例
垃圾信件過濾
使用者收到新信件時,系統立刻把郵件特徵丟進已訓練模型,判斷是不是垃圾信,這就是線上推論。
影像分類 API
相機拍到一張照片後,上傳到雲端服務,模型回傳「貓」或「狗」,整個過程是在做新資料判斷。
演算法與應用
推論常被分成批次推論和即時推論。批次推論重吞吐量,像夜間一次處理大量訂單;即時推論重延遲,像聊天機器人要秒回。部署時常會一起看延遲、吞吐量、成本和準確率。
中英對照與容易混淆的詞
第三列是最常見的混淆。inference 講的是「執行模型」這個動作,reasoning 講的是「模型會不會思考」這個能力。中文都可能被翻成推理,但它們完全是兩回事,一個是工程階段,一個是模型能力。
台灣的教材與業界較常寫「推論」,中國大陸多寫「推理」,兩者指的是同一件事。
- 中文
- 推論 / 推理
- 英文
- inference
- 說明
- 模型訓練完之後拿來預測的階段
- 中文
- 訓練
- 英文
- training
- 說明
- 調整模型參數的階段
- 中文
- 推理能力
- 英文
- reasoning
- 說明
- 模型多步思考、解決問題的能力
- 中文
- 統計推論
- 英文
- statistical inference
- 說明
- 統計學名詞,從樣本推母體
推論階段的三個成本指標
訓練是一次性的,推論是每一次請求都要付的錢,所以實際營運成本主要由推論決定。要看的指標有三個,而且它們常常互相衝突。
首字延遲(Time To First Token, TTFT)。 使用者送出請求到看到第一個字的時間。這一段主要是在處理輸入(prefill),跟提示長度成正比。對話體驗好不好,這個數字最關鍵。
每字延遲(Time Per Output Token, TPOT)。 之後每個字之間的間隔。這一段(decode)是記憶體頻寬受限的,不是算力受限,所以加大批次能明顯提升整體吞吐但不會讓單一使用者變快。
吞吐量(throughput)。 整台機器每秒能產出多少 token。它決定單位成本。
三者的取捨很現實:把批次開大,吞吐上升、單位成本下降,但每個人的延遲變差。所以線上服務通常會分流,即時對話走小批次低延遲的服務,批次處理走大批次高吞吐的服務。
常見的最佳化手段包括量化(降低權重精度)、KV 快取管理(PagedAttention)、連續批次(continuous batching)與推測解碼(speculative decoding)。
常見問題
訓練是在調整參數,推論是在固定參數下做預測,兩個階段的目標完全不同。
你可以把它想成學生考試,把讀過的內容拿來回答新題目,重點是應用,不是再學一次。
推理偏向思考和論證,推論在機器學習裡是模型對新資料做輸出。
推論晶片是專門為執行訓練好的模型而設計的處理器,目標是用較低的耗電與成本處理大量預測請求。和訓練用的晶片相比,它更重視延遲、每瓦效能與低精度運算(例如 INT8)。常見形式包括資料中心的推論加速卡,以及手機、筆電裡的 NPU。
不一樣。推論統計是從樣本推估母體的性質,例如估計平均值、做假設檢定與信賴區間。機器學習的推論是把訓練好的模型拿來對新資料產生預測,重點是輸出結果,不是推估母體參數。Google 機器學習詞彙表也特別註明兩者意義不同。
範例考題
在 AI 推論服務架構設計中,「批次推論(Batch Inference)」與「即時推論(Real-time Inference)」常依任務特性選擇不同機制。下列關於兩者特性的敘述何者最正確?
- A批次推論通常以同步請求方式回傳結果,以確保資料一致性;即時推論則多採非同步機制以提升系統吞吐量(Throughput)
- B批次推論多用於延遲容忍度較高的大規模資料處理,通常以吞吐量(Throughput)最佳化為優先;即時推論則著重於請求回應時間的穩定性與低延遲特性
- C批次推論因計算資源需求高,僅適用於影像類模型;即時推論則主要應用於結構化資料模型
- D即時推論為確保回應速度,通常限制為單筆資料輸入;批次推論則可支援同步多筆資料即時回傳
正解是 B:批次推論多用於延遲容忍度較高的大規模資料處理,通常以吞吐量(Throughput)最佳化為優先;即時推論則著重於請求回應時間的穩定性與低延遲特性
解析:批次推論適合大規模資料處理且對延遲容忍度較高的場景,以吞吐量最佳化為目標。即時推論則注重每次請求的回應時間穩定性與低延遲,適合需要即時結果的應用。
出現在這些考古題
官方公告試題的逐題解析裡,這 4 題把推論列為延伸術語。
相關術語
來源
這個術語目前沒有標註外部來源。
其他格式:Markdown 版本