Top-k採樣 是什麼？
Top-k Sampling：Top-k採樣 的完整解釋
限制每次詞彙選擇只從機率最高的 k 個候選詞彙中進行隨機採樣，減少低機率詞彙被錯誤選中的風險。
核心概念
Top-k 採樣透過限制候選詞彙的集合來控制生成過程。在無限制的採樣中，即使機率只有 0.001% 的罕見詞彙也有被選中的機會。這導致了所謂的「long tail」問題，在某些不幸的時刻，模型會選擇完全不合適的詞彙，破壞整個生成序列的連貫性。
Top-k 採樣通過保留機率排名前 k 的詞彙，直接消除了 tail 中的詞彙。設 k=50，模型只會從最可能的 50 個詞彙中選擇，其餘詞彙的機率被設為 0。然後對剩餘的 k 個詞彙重新歸一化（normalize），使其機率和仍為 1。
運作原理
完整演算流程
Step 1：取得詞彙表的 logits。模型的輸出層產生每個詞彙的原始分數。
Step 2：計算機率分布。應用 softmax 函數將 logits 轉換為 [0, 1] 範圍的機率。
Step 3：排序。將詞彙按機率從高到低排列。
Step 4：截斷。選擇機率最高的 k 個詞彙。
Step 5：掩蔽。將其他詞彙的機率設為 0。
Step 6：歸一化。對保留的 k 個詞彙的機率進行歸一化，使總和為 1。
Step 7：採樣。根據歸一化後的機率分布隨機選擇一個詞彙。
實際應用
典型應用場景
文本生成中，Top-k 採樣特別有效。在摘要生成、機器翻譯和對話系統中，k=40 到 k=100 通常能產生高品質的輸出。k 值的選擇取決於應用的容忍度。
在代碼生成中，較小的 k 值（如 k=10）保證生成的代碼片段更接近常見的程式模式。在創意寫作中，較大的 k 值（k=50-100）允許更多的詞彙多樣性，同時避免完全不合適的詞彙。
與溫度的結合
Top-k 和溫度是互補的。溫度改變機率分布的形狀，而 Top-k 限制候選集合的大小。結合使用時，先應用溫度調整分布，再應用 Top-k 限制。例如，高溫度配合適度的 k 值可以提供多樣性，同時避免荒謬的選擇。
實務中，許多系統同時使用溫度（如 0.8）和 Top-k（如 k=50）。這樣既有溫度帶來的機率分布調整，也有 Top-k 的安全限制。
常見誤區
誤區 1：k 值越大越好。實際上，過大的 k 值會導致低機率詞彙被包含，反而增加了低品質選擇的機率。k 應該根據詞彙表大小和應用需求調整。
誤區 2：Top-k 等於限制詞彙表大小。Top-k 是動態的，每個位置選擇的前 k 個詞彙都可能不同。而限制詞彙表大小是固定的預處理步驟。
誤區 3：Top-k 完全消除了低品質詞彙。Top-k 只限制了候選集合的大小，但候選集合中的詞彙仍然可能不合適。質量控制還需要其他技術配合。
誤區 4：Top-k 沒有計算成本。雖然排序和掩蔽的成本相對較低，但對於非常大的詞彙表（超過 100k），這些操作仍然有非零成本。
誤區 5：k 值在所有情況下都應該相同。不同的任務有不同的需求。例如，翻譯任務可能需要 k=5-10（為了保持意義的準確性），而創意寫作可能需要 k=50-100。
與相關技術的比較
Top-k vs 溫度採樣
- 溫度採樣改變所有詞彙的相對機率
- Top-k 採樣直接排除低機率詞彙
- 溫度是「柔和」的調整，Top-k 是「硬」的限制
- 兩者可結合使用，順序是先溫度後 Top-k
Top-k vs Nucleus Sampling
- Top-k 基於詞彙排名（固定數量 k）
- Nucleus sampling 基於累積機率（靈活的數量）
- Top-k 更簡單，nucleus 更能適應不同的機率分布
- 在機率分布高度集中時，兩者的效果相近
Top-k vs Beam Search
- Top-k 每步隨機選擇，beam search 保留多個候選序列
- Top-k 更快，beam search 產生更高品質的長序列
- Top-k 適合需要多樣性的任務，beam search 適合需要最優序列的任務
- 實務中常常結合使用（beam search 配合 Top-k 限制各步的分支因子）
Top-k vs Greedy Decoding
- Top-k 是隨機的，greedy 是確定性的
- Top-k 保留一些多樣性，greedy 總是選擇最高機率
- Greedy 最快最簡單，Top-k 提供更好的平衡
Top-k 採樣在現代 LLM 系統中被廣泛採用，因為它簡單有效，計算成本低，而且能顯著提高輸出品質。