完整定義
深度強化學習(Deep Reinforcement Learning, DRL)是強化學習的一個分支,它利用深度神經網路來處理高維度的狀態空間和動作空間。DRL 結合了強化學習的決策能力和深度學習的感知能力,使得智能體能夠從原始感官輸入中學習複雜的策略,並在複雜的環境中做出最佳決策,以最大化累積獎勵。
白話說明
機器人面對迷宮或控制問題時,怎麼靠試錯學策略?
你可以把 深度強化學習 想成一個邊試錯邊學最划算動作的系統。
它其實就是把「做哪一步比較好」變成可計算的長期分數。
深度強化學習結合深度學習與強化學習,透過深度神經網路學習複雜策略,以在特定環境中最大化累積獎勵。當環境會回饋獎勵,而且每一步都會影響後面結果時,這類方法特別有用。
記住這句
把試錯學習和深度網路接在一起
比喻:深度強化學習就像教小孩學走路 -- 小孩跌倒(得到負獎勵)就知道下次要小心,走穩了(得到正獎勵)就學會了,而且這個「學習」過程是透過不斷嘗試和修正來改進的。
容易混淆
vs 傳統強化學習
傳統強大學習像教機器人走迷宮,需要預先設計好規則;深度強化學習則是讓機器人自己摸索,透過大量的試錯來學習最佳策略,更像人類的學習方式。
實際案例
案例一:深度強化學習 玩 Atari 遊戲
智能體看到畫面後選擇動作,分數高就把這條路記住,分數低就往別的策略試,DQN 就是這種學法的代表。
案例二:深度強化學習 控制機器人手臂
機器人要決定往哪裡移、抓多快、停多久,動作會連鎖影響後面的回饋,這時候就需要長期獎勵的觀念。
深入了解
強化學習看的是狀態、動作、獎勵和下一步狀態,目標是把長期回報做大
DQN 用神經網路近似價值函數,解決狀態太大、表格塞不下的問題
如果獎勵設計不好,再強的模型也會學歪
中英對照與常見說法
它是深度學習與強化學習的結合:強化學習提供「從互動與獎勵中學習」的框架,深度學習提供處理高維輸入(影像、感測器訊號)的能力。在深度學習之前,強化學習只能處理狀態數量有限的問題。
- 說法
- 深度強化學習
- 出現場合
- 台灣正式用語
- 說法
- 深度强化学习
- 出現場合
- 簡體寫法
- 說法
- Deep Reinforcement Learning
- 出現場合
- 英文原名
- 說法
- DRL、Deep RL
- 出現場合
- 縮寫
基本組成
跟監督式學習最根本的差別是沒有標準答案,只有延遲的評價。下一步該走哪裡沒有人告訴你,只有走完一整局之後才知道結果好不好,而且好結果可能是很多步之前那一手造成的。這叫做信用分配問題(credit assignment)。
- 元素
- 代理人(agent)
- 意思
- 做決策的主體
- 元素
- 環境(environment)
- 意思
- 代理人所處的世界
- 元素
- 狀態(state)
- 意思
- 環境目前的樣子
- 元素
- 動作(action)
- 意思
- 代理人可以做的事
- 元素
- 獎勵(reward)
- 意思
- 環境對這個動作的即時評價
- 元素
- 策略(policy)
- 意思
- 從狀態決定動作的規則,也就是要學的東西
兩大流派
價值式(value-based):學一個函數估計「在這個狀態做這個動作,未來總共能拿多少獎勵」,然後每次挑估值最高的動作。代表是 DQN,它用兩個關鍵技巧才訓得穩:經驗回放(把過去的經驗存起來隨機取樣,打破資料的時間相關性)與目標網路(用一個更新較慢的副本算目標值,避免自己追自己)。適合離散動作。
策略式(policy-based):直接學策略本身,輸出動作的機率分布。代表是 PPO,它限制每次更新不要離舊策略太遠,因此穩定好用,是目前最常見的預設選擇,RLHF 也是用它。適合連續動作。
Actor-Critic 是兩者的結合,一個網路決定動作、一個網路評價好壞。
為什麼實務落地不多
樣本效率極差。 需要的互動次數常常以百萬計。遊戲與模擬環境可以無限重跑所以沒問題,真實世界的機器人、製造設備、醫療決策都負擔不起。
獎勵函數難設計。 獎勵寫得不精確,代理人會找到你沒想到的作弊路徑,這叫獎勵駭客。經典的例子是賽船遊戲裡的代理人發現原地繞圈撿補給品的得分比跑完賽道還高,於是永遠不去終點。
模擬與真實的落差(sim-to-real gap)。 在模擬環境訓練好的策略搬到真實世界常常直接失效,因為物理參數、感測雜訊、延遲都不一樣。
訓練不穩定。 同樣的程式碼換個隨機種子可能訓不起來,論文結果的可重現性是這個領域長期被詬病的問題。
目前落地最成功的場景有兩類:能高保真模擬的(晶片布局、資料中心冷卻、遊戲)與互動成本低的(推薦排序、廣告出價、以及語言模型的 RLHF)。
情境判斷
Q1(直覺題): 在遊戲或控制問題裡,AI 需要靠試錯學最佳動作嗎?
需要,這正是強化學習最典型的場景。
Q2(判斷題): 如果每一步的獎勵都很稀疏,還適合直接用 DQN 嗎?
看情況,因為稀疏獎勵會讓學習變慢,這時候可能要改獎勵設計、加探索策略,甚至換成其他強化學習方法。
常見問題
傳統強化學習通常使用表格或線性函數來表示價值函數或策略,難以處理高維度的狀態空間。深度強化學習則使用深度神經網路來近似價值函數或策略,能夠處理高維度的狀態空間,並從原始感官輸入中學習複雜的模式。
訓練深度強化學習模型需要注意以下問題:獎勵信號的設計、探索與利用的平衡、經驗回放的有效性、目標網路的穩定性、超參數的調整以及計算資源的消耗。良好的獎勵信號可以引導智能體學習到期望的行為,有效的探索策略可以幫助智能體發現更好的策略。
深度強化學習的未來發展趨勢包括:提高模型的泛化能力、增強模型的可解釋性、開發更有效的探索策略、研究多智能體強化學習、將深度強化學習應用於更廣泛的領域,以及解決深度強化學習的倫理問題,例如公平性和安全性。
相關術語
來源
這個術語目前沒有標註外部來源。
其他格式:Markdown 版本