AITerms 登入
大型語言模型模型訓練模型部署

推測解碼(Speculative Decoding)是什麼?

推測解碼是一種加速大型語言模型推論速度的技術,透過小型模型預測多個token,再由大型模型驗證,減少計算量。

完整定義

推測解碼是一種加速大型語言模型(LLM)推論速度的技術。它利用一個較小、速度較快的「草稿模型」來預測多個可能的token序列,然後使用較大、更準確的LLM(稱為「驗證模型」)並行驗證這些預測。如果預測正確,則直接採用,錯誤則使用驗證模型的結果。此方法顯著減少了大型模型的計算需求,從而提高了整體推論速度。

白話說明

你有沒有在你想讓大型語言模型生成得更快,但又不想犧牲太多品質,發現只看表面常常不夠?

你可以把它想成先讓小模型草擬幾個字,再交給大模型一次驗證。

主模型每次都慢慢一字一字算,推測解碼就是想減少重複運算。

記住這句

小模型先猜,大模型再確認,就是推測解碼。

比喻:推測解碼就像寫作業的時候,先讓小幫手預寫幾行,然後老師再快速檢查並修改 -- 大型模型生成文字很慢,所以先讓一個小模型快速猜出接下來的幾個字,然後大型模型再一口氣驗證這些字對不對,對的就直接用,錯的再自己慢慢生成。

容易混淆

傳統自迴歸解碼

傳統解碼像一個字一個字慢慢寫,每寫一個字都要等前面寫完。

推測解碼則像一次寫好幾個字再批改,利用小模型預測和主模型驗證的機制,大幅減少了主模型重複運算的次數,讓生成速度更快。

實際案例

聊天服務要降低延遲,先用草稿模型預測數個 token,再讓主模型確認。

API 服務在高流量時,用它可以在相近品質下縮短回應時間。

演算法與應用

流程通常是 draft model 先產生候選序列,verifier 再批量接受或拒絕。

如果草稿模型夠準,主模型就能少算很多步。

情境判斷

Q1(直覺題): 如果你要把回應速度拉快,這種方法有幫助嗎?

有,這正是它的主要目的。

Q2(判斷題): 如果草稿模型太不準,還會有加速效果嗎?

會變差。看情況,草稿模型品質會直接影響收益。

常見問題

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本