搜尋意圖： 如果你在找「策略自我 是什麼」或「策略自我 和相近概念差在哪」，先看這頁的短定義、完整說明與延伸比較。
TL;DR： 強化學習中代理人用於表示自身行動策略的機制，區分當前被最佳化的策略與環境互動所用的策略。
實用情境： 適合用在閱讀 AI 文章、產品文件或和同事討論時，先用一頁快速對齊概念。
下一步： 先讀完定義，再往下看延伸比較與對應工具，把概念轉成實際應用。
強化學習中代理人用於表示自身行動策略的機制，區分當前被最佳化的策略與環境互動所用的策略。
策略自我（Policy Self）的概念在強化學習的理論框架中具有重要意義，特別是在探討代理人如何定義、維護並更新其行動策略的脈絡下。要理解 Policy Self，需要先掌握強化學習中策略（Policy）的核心概念。
策略（Policy）是強化學習代理人的決策規則，定義了在給定狀態下選擇每個行動的機率分佈（隨機策略）或確定性映射（確定性策略）。用數學符號表示：隨機策略 π(a|s) 表示在狀態 s 下採取行動 a 的機率，確定性策略 μ(s) = a 直接輸出最優行動。代理人透過與環境互動並根據獲得的獎勵不斷調整策略，使累積期望折扣獎勵最大化。
Policy Self 在多 Agent 強化學習（Multi-Agent Reinforcement Learning，MARL）與自我對弈（Self-Play）的框架中尤為重要。在自我對弈機制中，代理人透過與自身（或自身的歷史版本）對弈來學習，Policy Self 指的是當前代理人策略的「自我」身份：它同時扮演學習者（Learner）與對手（Opponent）兩個角色。AlphaGo、AlphaZero 等系統的成功正是建立在強大的自我對弈訓練框架之上，通過不斷挑戰自我（歷史版本的策略）來迭代提升策略品質。
在 Off-policy 學習（如 Q-learning、DQN、SAC 等）的語境中，Policy Self 的概念幫助區分兩個不同的策略實體：目標策略（Target Policy）是我們希望最佳化的策略，最終部署使用的策略；行為策略（Behavior Policy）是用於與環境互動、探索環境並收集訓練資料的策略。行為策略通常比目標策略更具探索性（如加入更多隨機性），這種分離設計允許使用歷史資料（Experience Replay Buffer）重複訓練，提升資料效率。
在現代大型語言模型的強化學習對齊（RLHF，Reinforcement Learning from Human Feedback）框架中，Policy Self 的概念也有對應體現。PPO（Proximal Policy Optimization）等演算法在更新策略時使用重要性採樣（Importance Sampling）修正，以控制當前策略（Policy Self in Current Iteration）與收集資料時使用的舊策略之間的差距，確保更新穩定。
策略梯度方法（Policy Gradient Methods）直接對策略參數化並梯度更新，Policy Self 在這類方法中被參數化為一個神經網路，網路輸出的機率分佈即為策略本身。Actor-Critic 架構將策略網路（Actor）與價值函式網路（Critic）分離，Actor 代表 Policy Self 的可學習參數化形式，由 Critic 提供的基準值指導其更新方向。
在多 Agent 系統中，Policy Self 的明確定義對於設計去中心化學習演算法、分析 Nash 均衡收斂性以及處理非穩態環境（其他 Agent 的策略也在同時改變）至關重要。CTDE（Centralized Training Decentralized Execution）框架中，各 Agent 的 Policy Self 在訓練時可以共享全局資訊，在執行時只依賴局部觀測，是目前 MARL 的主流設計範式。
在學術研究脈絡中，Policy Self 也與身份認同（Identity）和一致性（Consistency）的哲學問題相關聯：當 Agent 的策略持續更新時，「自我」是指當前的參數狀態，還是某種更持久的代理人身份？這一問題在設計長期學習系統、防止災難性遺忘（Catastrophic Forgetting）時具有實際意義。
理解 Policy Self 的核心是認識到強化學習中的策略不是靜態的固定規則，而是一個動態演化的決策機制，代理人在與環境和其他代理人互動的過程中持續更新自身的策略表示，同時需要維護足夠的策略一致性以確保學習的穩定性。
常見問題
Policy Self 和 Behavior Policy 有什麼區別？
Policy Self 通常指代理人當前持有的、正在被最佳化的策略（即 Target Policy），也就是代理人「自己的策略」；而 Behavior Policy 是用於與環境互動收集資料的策略，可能不同於 Target Policy。在 On-policy 方法（如 SARSA）中，兩者相同，代理人用自己的策略探索並更新自己的策略；在 Off-policy 方法（如 Q-learning、DQN）中，Behavior Policy 通常比 Target Policy 更具探索性（如 ε-greedy 策略），使代理人能探索更廣的狀態空間，同時用收集到的資料更新 Target Policy。這種分離是 Off-policy 方法能利用 Replay Buffer 重複使用歷史資料的關鍵機制。
自我對弈（Self-Play）中的 Policy Self 是如何運作的？
在自我對弈框架中，Policy Self 指代理人用自身（或歷史版本的自身）作為對手進行訓練。以棋類遊戲為例，代理人的策略網路同時控制雙方落子，透過與自己對弈產生訓練資料並更新策略，逐漸提升至人類難以企及的水準。AlphaZero 的實現方式是定期儲存當前策略的快照作為「對手池」（Opponent Pool），讓當前策略與過去版本的自己對弈，確保訓練信號穩定且難度逐步提升。這種設計能夠自動產生多樣化的訓練情境，不需要人類先驗知識即可達到超人表現，是強化學習在棋類遊戲中取得突破的關鍵技術。
在大型語言模型的 RLHF 訓練中，Policy Self 扮演什麼角色？
在 RLHF（Reinforcement Learning from Human Feedback）框架中，被訓練的語言模型就是 Policy Self，其策略是根據輸入 prompt 生成文本回應的條件機率分佈。訓練流程中，Policy Self 先由監督式微調（SFT）初始化，再透過 PPO 等強化學習演算法根據獎勵模型（Reward Model）的評分持續更新。為了防止策略更新過度偏離初始行為（如胡說八道或規避安全限制），RLHF 通常加入 KL 散度懲罰項，約束 Policy Self 與參考策略（Reference Policy，通常是 SFT 初始版本）的差距。這正是 Policy Self 在 LLM 對齊訓練中的核心作用：在最大化人類偏好評分的同時維持語言品質與安全性的平衡。