策略自我 是什麼？
Policy Self：策略自我 的完整解釋
強化學習中代理人用於表示自身行動策略的機制，區分當前被最佳化的策略與環境互動所用的策略。
策略自我（Policy Self）的概念在強化學習的理論框架中具有重要意義，特別是在探討代理人如何定義、維護並更新其行動策略的脈絡下。要理解 Policy Self，需要先掌握強化學習中策略（Policy）的核心概念。
策略（Policy）是強化學習代理人的決策規則，定義了在給定狀態下選擇每個行動的機率分佈（隨機策略）或確定性映射（確定性策略）。用數學符號表示：隨機策略 π(a|s) 表示在狀態 s 下採取行動 a 的機率，確定性策略 μ(s) = a 直接輸出最優行動。代理人透過與環境互動並根據獲得的獎勵不斷調整策略，使累積期望折扣獎勵最大化。
Policy Self 在多 Agent 強化學習（Multi-Agent Reinforcement Learning，MARL）與自我對弈（Self-Play）的框架中尤為重要。在自我對弈機制中，代理人透過與自身（或自身的歷史版本）對弈來學習，Policy Self 指的是當前代理人策略的「自我」身份：它同時扮演學習者（Learner）與對手（Opponent）兩個角色。AlphaGo、AlphaZero 等系統的成功正是建立在強大的自我對弈訓練框架之上，通過不斷挑戰自我（歷史版本的策略）來迭代提升策略品質。
在 Off-policy 學習（如 Q-learning、DQN、SAC 等）的語境中，Policy Self 的概念幫助區分兩個不同的策略實體：目標策略（Target Policy）是我們希望最佳化的策略，最終部署使用的策略；行為策略（Behavior Policy）是用於與環境互動、探索環境並收集訓練資料的策略。行為策略通常比目標策略更具探索性（如加入更多隨機性），這種分離設計允許使用歷史資料（Experience Replay Buffer）重複訓練，提升資料效率。
在現代大型語言模型的強化學習對齊（RLHF，Reinforcement Learning from Human Feedback）框架中，Policy Self 的概念也有對應體現。PPO（Proximal Policy Optimization）等演算法在更新策略時使用重要性採樣（Importance Sampling）修正，以控制當前策略（Policy Self in Current Iteration）與收集資料時使用的舊策略之間的差距，確保更新穩定。
策略梯度方法（Policy Gradient Methods）直接對策略參數化並梯度更新，Policy Self 在這類方法中被參數化為一個神經網路，網路輸出的機率分佈即為策略本身。Actor-Critic 架構將策略網路（Actor）與價值函式網路（Critic）分離，Actor 代表 Policy Self 的可學習參數化形式，由 Critic 提供的基準值指導其更新方向。
在多 Agent 系統中，Policy Self 的明確定義對於設計去中心化學習演算法、分析 Nash 均衡收斂性以及處理非穩態環境（其他 Agent 的策略也在同時改變）至關重要。CTDE（Centralized Training Decentralized Execution）框架中，各 Agent 的 Policy Self 在訓練時可以共享全局資訊，在執行時只依賴局部觀測，是目前 MARL 的主流設計範式。
在學術研究脈絡中，Policy Self 也與身份認同（Identity）和一致性（Consistency）的哲學問題相關聯：當 Agent 的策略持續更新時，「自我」是指當前的參數狀態，還是某種更持久的代理人身份？這一問題在設計長期學習系統、防止災難性遺忘（Catastrophic Forgetting）時具有實際意義。
理解 Policy Self 的核心是認識到強化學習中的策略不是靜態的固定規則，而是一個動態演化的決策機制，代理人在與環境和其他代理人互動的過程中持續更新自身的策略表示，同時需要維護足夠的策略一致性以確保學習的穩定性。