推測解碼 是什麼？
Speculative Decoding — 推測解碼 的完整解釋
推測解碼是一種加速大型語言模型推論速度的技術，透過小型模型預測多個token，再由大型模型驗證，減少計算量。
容易混淆
傳統自迴歸解碼 傳統解碼像一個字一個字慢慢寫，每寫一個字都要等前面寫完。 推測解碼則像一次寫好幾個字再批改，利用小模型預測和主模型驗證的機制，大幅減少了主模型重複運算的次數，讓生成速度更快。
最關鍵的區別：先看它是在比意思、比結構，還是在做任務輸出。
記住這句就好
小模型先猜，大模型再確認，就是推測解碼。
實際案例
聊天服務要降低延遲，先用草稿模型預測數個 token，再讓主模型確認。 API 服務在高流量時，用它可以在相近品質下縮短回應時間。
算法與應用
流程通常是 draft model 先產生候選序列，verifier 再批量接受或拒絕。 如果草稿模型夠準，主模型就能少算很多步。
情境判斷
Q1（直覺題）： 如果你要把回應速度拉快，這種方法有幫助嗎？
→ 有，這正是它的主要目的。
Q2（判斷題）： 如果草稿模型太不準，還會有加速效果嗎？
→ 會變差。看情況，草稿模型品質會直接影響收益。
相關術語
常見問題
推測解碼如何加速大型語言模型？
推測解碼透過使用小型模型快速生成候選token序列，然後使用大型模型並行驗證這些序列，減少大型模型生成每個token所需的計算量，從而加速推論過程。驗證的成本遠低於生成，因此整體速度提升。
推測解碼是否會影響模型的準確性？
如果驗證模型足夠準確，推測解碼通常不會降低模型準確性。在某些情況下，它甚至可以提高準確性，因為它可以幫助模型更快地探索不同的token序列。關鍵在於驗證模型的品質。
推測解碼中的草稿模型和驗證模型有什麼區別？
草稿模型是一個較小、速度較快的模型，用於生成候選token序列。驗證模型是一個較大、更準確的模型，用於驗證草稿模型生成的token序列。驗證模型通常是最終部署的模型，需要保證生成結果的品質。