多任務強化學習（Multi-task Reinforcement Learning）是什麼？

同時學習多個相關任務的強化學習方法，利用任務間的知識共享提升效率。

核心概念

現實中的智能體往往需掌握多項技能。例如機械臂既要學習抓取、推物件、放置，又要學習避障、位置調整等。逐個單獨訓練每項技能費時低效，因為任務間存在大量可共享的知識：臂部運動學模型、基本控制策略、環境特性等。

多任務強化學習利用這些共性，在統一框架下同時學習多個任務，使不同任務的學習相互促進：

• 一個任務的探索發現有益於其他任務。
• 表示層（如神經網路的中間層）能更好地捕捉跨任務的共同特徵。
• 樣本可被多個任務共用，提升整體樣本效率。

運作原理與框架

參數共享（Parameter Sharing）

最直接的多任務學習方式：所有任務共享同一個主幹網路（如深度神經網路的底層），在分叉層輸出任務特定的策略頭：

共享特徵編碼器 → [任務1策略頭 → π₁(a|s)]
              → [任務2策略頭 → π₂(a|s)]
              → [任務n策略頭 → πₙ(a|s)]

共享層學習任務的通用表示，任務頭學習任務特定的策略。訓練時，來自不同任務的經驗都用於更新共享層，加快共享特徵的學習。

優點：簡單直接，樣本效率高。缺點：如果任務差異很大，強行共享可能導致「負遷移」（一個任務的學習反而損害另一個任務）。

多頭策略與環境條件化

某些設計中，任務作為額外的條件輸入，網路學習任務條件化的策略：

π(a|s,t) 表示「在狀態s與任務t下選擇動作a

網路輸入同時包含狀態與任務標識（編碼為向量或標記），學習任務的「條件適應」。這允許更細粒度的任務控制。

遷移學習框架

多任務學習可視為遷移學習的概括：在任務A上訓練的表示遷移至任務B，並在B上微調。在多任務設定中，這種遷移同時發生於所有任務對。

多任務元學習

Meta-learning（學習如何學習）與多任務學習結合，智能體不僅學習完成任務，還學習如何快速適應新任務。例如Model-Agnostic Meta-Learning（MAML）訓練一個初始策略，使其能以少量梯度步驟快速適應新任務。

實際應用

機器人多技能學習

一個機械臂同時學習抓取、推、掃、堆疊等十多項操作技能，共享骨幹網路加速每項技能的習得。

多環境自駕學習

在不同氣候（晴天、雨天、霧天）、不同道路環境（城市、高速、山路）訓練自駕決策，共享視覺特徵提取與基本駕駛邏輯，任務頭適應環境特異性。

多語言自然語言處理

多個語言的文本生成或翻譯任務共享編碼器，任務頭應對語言特異性，加速低資源語言的學習。

遊戲AI多角色訓練

同時訓練多個遊戲角色的決策策略，共享通用遊戲理解（如地圖特徵、物品效果），角色頭適應角色特異的能力與數據。

常見誤區

誤區1：認為所有任務都應該共享參數。某些任務間差異過大，強行共享導致性能惡化。需先評估任務相似性。

誤區2：假定多任務學習自動超越單任務。若任務選擇不當（如混合完全無關的任務），多任務反而消耗更多資源。

誤區3：忽視任務的訓練優先級。若某個任務在共享層上「統治」（支配梯度更新），其他任務的學習會被邊緣化。需平衡不同任務的訓練比例。

與相關技術的比較

• MTRL vs. 單任務RL：MTRL樣本效率更高但需任務選擇；單任務更簡潔但重複學習通用知識。
• MTRL vs. 遷移學習：遷移通常是序列（先A後B），MTRL是並行（同時A+B）；目標與機制都不同。
• MTRL vs. 元學習：元學習目標是快速適應新任務，MTRL目標是同時優化已知任務；兩者可結合。
• MTRL vs. 分層強化學習：HRL分解同一任務，MTRL處理多個任務，應對的複雜度來源不同。