時序差分學習（Temporal Difference Learning）

核心概念

時序差分學習 (Temporal Difference Learning, TD Learning) 是一種強化學習方法，其核心概念在於利用連續時間點之間的預測差異來更新價值函數。價值函數評估了在特定狀態下遵循特定策略的預期累積獎勵。TD Learning 的獨特之處在於它能夠在 episode 結束之前，甚至在沒有完整 episode 的情況下，進行學習和更新。這與蒙地卡羅方法形成了鮮明對比，後者必須等到 episode 結束才能計算回報並更新價值函數。

TD Learning 的關鍵組成部分包括：

• 狀態 (State, s): 環境在特定時間點的描述。
• 動作 (Action, a): 智能體在特定狀態下可以採取的行為。
• 獎勵 (Reward, r): 智能體執行動作後從環境中獲得的即時回饋。
• 價值函數 (Value Function, V(s)): 評估在狀態 s 下遵循特定策略的預期累積獎勵。
• 策略 (Policy, π): 智能體在每個狀態下選擇動作的規則。
• TD 誤差 (TD Error, δ): 預測價值與實際觀察到的獎勵加上下一個狀態的預測價值之間的差異。這是 TD Learning 更新價值函數的基礎。

運作原理

TD Learning 的運作原理基於以下步驟：

1. 初始化價值函數: 為每個狀態初始化一個價值估計值。通常，這些值可以初始化為零或隨機值。

2. 選擇動作: 根據當前策略，在當前狀態下選擇一個動作。常見的策略包括 ε-greedy 策略 (以 ε 的概率隨機選擇動作，以 1-ε 的概率選擇價值最高的動作) 和 softmax 策略 (根據每個動作的價值分配概率)。

3. 執行動作並觀察結果: 執行選擇的動作，並觀察環境的回饋，包括獎勵和下一個狀態。

4. 計算 TD 誤差: 使用以下公式計算 TD 誤差：

   δ = r + γ * V(s') - V(s)

   其中：

   • r 是收到的獎勵。
   • γ 是折扣因子 (0 ≤ γ ≤ 1)，用於衡量未來獎勵的重要性。γ 越接近 1，未來獎勵的權重越高。
   • V(s') 是下一個狀態 s' 的價值估計值。
   • V(s) 是當前狀態 s 的價值估計值。

5. 更新價值函數: 使用 TD 誤差更新當前狀態的價值估計值：

   V(s) = V(s) + α * δ

   其中：

   • α 是學習率 (0 < α ≤ 1)，用於控制更新的幅度。α 越大，更新的幅度越大。

6. 重複步驟 2-5: 重複以上步驟，直到價值函數收斂或達到預定的停止條件。

TD Learning 的關鍵優勢在於它可以在線學習，即在與環境互動的同時進行學習。這使得它非常適合於動態和非靜態環境。此外，TD Learning 具有低方差的特性，因為它基於實際觀察到的獎勵進行更新，而不是像蒙地卡羅方法那樣基於完整的 episode 回報。

常見的 TD Learning 演算法包括：

• SARSA (State-Action-Reward-State-Action): 是一種 on-policy 演算法，它使用當前策略選擇的下一個動作來更新價值函數。
• Q-learning: 是一種 off-policy 演算法，它使用最佳策略選擇的下一個動作來更新價值函數。

實際應用

TD Learning 在許多領域都有廣泛的應用，包括：

• 遊戲 AI: TD Learning 被廣泛用於訓練遊戲 AI，例如西洋棋、圍棋和 Atari 遊戲。AlphaGo 和 AlphaZero 等著名的 AI 系統都使用了 TD Learning 的變體。
• 機器人控制: TD Learning 可以用於訓練機器人執行各種任務，例如導航、抓取和操作。
• 推薦系統: TD Learning 可以用於建立推薦系統，根據用戶的歷史行為預測用戶可能感興趣的商品或服務。
• 金融交易: TD Learning 可以用於開發自動交易系統，根據市場數據預測價格變動。
• 資源管理: TD Learning 可以用於優化資源管理，例如電力分配和交通流量控制。

常見誤區

• TD Learning 總是比蒙地卡羅方法更好: 雖然 TD Learning 具有在線學習和低方差的優勢，但蒙地卡羅方法在某些情況下可能更有效。例如，當環境具有高隨機性或獎勵信號稀疏時，蒙地卡羅方法可能更穩定。
• 學習率 α 應該始終保持不變: 學習率 α 的選擇對 TD Learning 的性能有很大影響。通常，隨著學習的進行，逐漸降低學習率可以提高收斂性。
• 折扣因子 γ 應該始終設置為 1: 折扣因子 γ 的選擇取決於具體問題。如果未來獎勵非常重要，則應將 γ 設置為接近 1 的值。如果未來獎勵不太重要，則應將 γ 設置為較小的值。
• TD Learning 可以解決所有強化學習問題: TD Learning 是一種強大的強化學習方法，但它並非萬能的。對於某些複雜的問題，可能需要使用更高級的強化學習技術，例如深度強化學習。
• TD 誤差總是代表學習的進展: 雖然 TD 誤差通常指示學習的進展，但在某些情況下，它可能只是噪音。例如，當環境具有高隨機性時，TD 誤差可能波動很大。