完整定義
推測解碼是一種加速大型語言模型(LLM)推論速度的技術。它利用一個較小、速度較快的「草稿模型」來預測多個可能的token序列,然後使用較大、更準確的LLM(稱為「驗證模型」)並行驗證這些預測。如果預測正確,則直接採用,錯誤則使用驗證模型的結果。此方法顯著減少了大型模型的計算需求,從而提高了整體推論速度。
白話說明
你有沒有在你想讓大型語言模型生成得更快,但又不想犧牲太多品質,發現只看表面常常不夠?
你可以把它想成先讓小模型草擬幾個字,再交給大模型一次驗證。
主模型每次都慢慢一字一字算,推測解碼就是想減少重複運算。
記住這句
小模型先猜,大模型再確認,就是推測解碼。
比喻:推測解碼就像寫作業的時候,先讓小幫手預寫幾行,然後老師再快速檢查並修改 -- 大型模型生成文字很慢,所以先讓一個小模型快速猜出接下來的幾個字,然後大型模型再一口氣驗證這些字對不對,對的就直接用,錯的再自己慢慢生成。
容易混淆
傳統自迴歸解碼
傳統解碼像一個字一個字慢慢寫,每寫一個字都要等前面寫完。
推測解碼則像一次寫好幾個字再批改,利用小模型預測和主模型驗證的機制,大幅減少了主模型重複運算的次數,讓生成速度更快。
實際案例
聊天服務要降低延遲,先用草稿模型預測數個 token,再讓主模型確認。
API 服務在高流量時,用它可以在相近品質下縮短回應時間。
演算法與應用
流程通常是 draft model 先產生候選序列,verifier 再批量接受或拒絕。
如果草稿模型夠準,主模型就能少算很多步。
情境判斷
Q1(直覺題): 如果你要把回應速度拉快,這種方法有幫助嗎?
有,這正是它的主要目的。
Q2(判斷題): 如果草稿模型太不準,還會有加速效果嗎?
會變差。看情況,草稿模型品質會直接影響收益。
常見問題
推測解碼透過使用小型模型快速生成候選token序列,然後使用大型模型並行驗證這些序列,減少大型模型生成每個token所需的計算量,從而加速推論過程。驗證的成本遠低於生成,因此整體速度提升。
如果驗證模型足夠準確,推測解碼通常不會降低模型準確性。在某些情況下,它甚至可以提高準確性,因為它可以幫助模型更快地探索不同的token序列。關鍵在於驗證模型的品質。
草稿模型是一個較小、速度較快的模型,用於生成候選token序列。驗證模型是一個較大、更準確的模型,用於驗證草稿模型生成的token序列。驗證模型通常是最終部署的模型,需要保證生成結果的品質。
相關術語
來源
這個術語目前沒有標註外部來源。
其他格式:Markdown 版本