溫度採樣 是什麼？
Temperature Sampling：溫度採樣 的完整解釋
透過調整溫度參數，控制語言模型生成文本的隨機程度和多樣性。溫度越低生成越確定，溫度越高生成越隨機。
核心概念
溫度採樣是控制語言模型生成過程中隨機性的基本機制。在自然語言生成中，模型對下一個詞彙的預測是一個機率分布。溫度參數透過重新縮放這個機率分布，來控制模型的「決定論」程度。
從數學角度看，溫度採樣對原始 logits 進行除法操作。假設模型預測的 logits 為 z，溫度為 T，則調整後的機率分布為 softmax(z/T)。當 T=1 時，這就是原始的 softmax；當 T<1 時，分布更尖銳，高機率詞彙的優勢更大；當 T>1 時，分布更平坦，各詞彙獲選機率更均等。
運作原理
溫度採樣的運作流程包括以下步驟：
步驟 1：計算 logits
模型的最後一層產生每個詞彙的原始分數（logits）。這些分數代表模型對各詞彙的「信心」。
步驟 2：應用溫度縮放
將 logits 除以溫度值。這個操作改變了分布的形狀。溫度越低，logits 間的差異放大；溫度越高，logits 間的差異縮小。
步驟 3：計算機率分布
對溫度縮放後的 logits 應用 softmax 函數，得到每個詞彙的選擇機率。
步驟 4：採樣
根據機率分布隨機選擇下一個詞彙。高溫度下，即使機率較低的詞彙也有顯著被選中的機率；低溫度下，最高機率詞彙的優勢絕對明顯。
實際應用
高溫度應用場景
- 創意寫作和故事生成：需要多樣化和非預期的詞彙選擇
- 頭腦風暴和創意構思：生成更多不同的想法和角度
- 角色扮演和虛擬角色對話：增加人物的個性和變化
- 廣告文案和營銷文本：產生更多不同的表現方式
高溫度可能導致的問題包括語義錯誤、不連貫的邏輯、以及偶發的無意義詞彙組合。在生成專業或技術文本時，高溫度通常會降低品質。
低溫度應用場景
- 代碼生成和程式邏輯：需要精確和一致的程式結構
- 問答系統和事實查詢：需要準確回答而非創意變化
- 翻譯和語言轉換：需要保持意義的精確傳達
- 資料分析和技術報告：需要清晰的邏輯和準確的表述
低溫度設定會產生更可預測、更容易驗證的輸出。但它也可能導致重複的回答、較少的創新表現，以及在複雜問題上可能的過度簡化。
中等溫度的平衡
許多實務應用採用 0.7 到 0.9 的溫度，在多樣性和可靠性之間尋求平衡。這個範圍在保持連貫性的同時，允許適度的變化和新鮮感。
常見誤區
誤區 1：溫度只是「更隨機」。實際上，溫度是改變機率分布形狀的精確機制。低溫度不是「關閉隨機性」，而是使高機率選項的優勢更明顯。
誤區 2：溫度值沒有上限。雖然理論上可以設定任意高的溫度，但實務上溫度過高（>2）會導致輸出品質急劇下降。通常 0.0 到 2.0 是合理範圍。
誤區 3：溫度與模型能力直接相關。溫度不改變模型的知識或推理能力，只改變選擇表達方式的傾向。一個能力不足的模型，即使調整溫度也無法產生高品質輸出。
誤區 4：所有使用場景都應該用同一個溫度。不同的應用對多樣性和準確性的需求不同，應根據具體場景調整溫度。
誤區 5：溫度與 top-k 或 nucleus sampling 互斥。實際上，這些技術可以結合使用。溫度調整機率分布形狀，而 top-k 或 nucleus sampling 進一步限制可選詞彙的範圍。
與相關技術的比較
溫度採樣 vs Top-k Sampling
- 溫度採樣改變整個機率分布的形狀，影響所有詞彙的相對機率
- Top-k 採樣限制可選詞彙的數量，只從機率最高的 k 個詞彙中選擇
- 兩者可以結合使用：先用溫度調整分布，再用 top-k 限制範圍
溫度採樣 vs Nucleus Sampling
- 溫度採樣基於固定的參數值
- Nucleus sampling 基於累積機率，動態決定包含多少詞彙
- 溫度採樣更簡單，nucleus sampling 對不同機率分布的適應性更強
溫度採樣 vs Greedy Decoding
- 溫度採樣總是涉及隨機選擇（除非溫度為 0）
- Greedy decoding 確定性地選擇機率最高的詞彙，等同於溫度為 0 的極限情況
- Greedy decoding 最快最簡單，但多樣性最低
溫度採樣 vs Beam Search
- 溫度採樣是逐步決策的隨機方法
- Beam search 是探索多個候選序列的確定性方法
- Beam search 通常產生質量更高但多樣性更低的輸出
- 兩者都不是互斥的，有些實現會結合溫度和 beam search
溫度採樣是最直接、最容易理解的多樣性控制方法。對於開發者來說，它提供了一個簡單的參數，可以快速調整模型的行為風格。