思維推理 是什麼？
Thought Reasoning：思維推理 的完整解釋
AI 模型透過顯式的中間推理步驟（思維鏈）將複雜問題拆解為可逐步解決的子問題，以提升多步推理任務準確率的方法。
思維推理（Thought Reasoning）的核心概念是「讓模型展示思考過程」。傳統 LLM 問答中，模型直接輸出最終答案，複雜問題（如多步數學計算、需要條件推斷的邏輯題）錯誤率高。思維鏈方法通過引導模型逐步推理，顯著提升了複雜任務的性能。
思維鏈（Chain-of-Thought, CoT）的工作機制：在提示中加入帶有推理步驟的示例，引導模型在生成答案時也輸出中間步驟。例如解數學應用題「一個商店蘋果每斤 5 元，買 3 斤再加上 10 元優惠券，需付多少？」，模型輸出「購買 3 斤蘋果：3 × 5 = 15 元；減去優惠券：15 - 10 = 5 元；答案：5 元」，而非直接輸出「5 元」。中間步驟的顯式輸出既增加了正確性，也提供了可追溯的推理軌跡。
自動思維鏈（Auto-CoT）和零樣本 CoT（Zero-Shot CoT）免除了手工編寫推理示例的需要：「讓我們一步一步思考」（Let's think step by step）這樣的魔法提示語竟然能顯著觸發模型的 CoT 行為，這一發現令人驚訝，也揭示了 LLM 在預訓練中隱式習得了推理能力，只是需要合適的提示來激活。
思維樹（Tree of Thoughts, ToT）和思維圖（Graph of Thoughts, GoT）是 CoT 的進化版本。ToT 讓模型生成多個推理路徑（樹的分支），用評估函數打分後選擇最優路徑或回溯修正，使模型具備「探索」和「回溯」能力，適合需要搜索的規劃問題（如 Sudoku、邏輯謎題）。GoT 進一步允許思維節點之間的任意連接（非樹結構），支持更複雜的推理模式。
推理模型（Reasoning Models）是思維推理的最新發展：OpenAI o1、o3，Claude 3.7 Sonnet，DeepSeek-R1 等模型被專門訓練成在回答前進行「內部思考」（有時長達數千 token 的思維鏈），通過強化學習（特別是基於結果反饋的 RLHF）讓模型學習在何時進行更長時間的推理。
思維推理的局限性包括：增加輸出 token 數量，提升延遲和成本；推理步驟可能引入「幻覺」（看似合理的中間步驟卻基於錯誤假設）；在需要即時回應的應用中不適用。對於簡單任務，強制思維鏈反而可能引入不必要的複雜度，直接輸出效果更好。
程序輔助語言模型（Program-Aided Language Models, PAL）是思維推理的一種有趣變體：模型不是直接生成自然語言推理步驟，而是生成一段 Python 代碼作為推理的「計算器」，然後在代碼執行器中實際運行這段代碼得到數值結果。這種方法徹底解決了 LLM 的算術錯誤問題（代碼執行結果精確），同時保留了 LLM 對問題語義的理解和代碼生成能力。
過程獎勵模型（Process Reward Model, PRM）vs 結果獎勵模型（Outcome Reward Model, ORM）是訓練推理模型的重要設計選擇。ORM 只對最終答案正確與否給予獎勵；PRM 對每個推理步驟的正確性都給予反饋，讓模型學會「正確的推理過程」而非「正確的最終答案」。OpenAI 和 DeepMind 的研究均表明 PRM 在訓練高質量推理模型上更有效，但標注推理步驟的人工成本也更高。
思維推理在多代理人（Multi-Agent）框架中有特殊應用：辯論（Debate）機制讓多個 LLM 實例各自提出推理論點，再讓一個「評判者」模型選擇最可靠的論點，通過辯論的對抗過程過濾掉弱推理；社會模擬（Societal Simulation）中，不同 Agent 代表不同立場進行推理和反駁，模擬複雜問題的多角度分析，在決策支持和政策分析中有應用潛力。