完整定義
獎勵函數是強化學習的核心組成部分,它定義了代理在特定狀態下採取特定動作後獲得的獎勵。獎勵函數的設計至關重要,因為它直接影響代理學習到的行為。一個好的獎勵函數應該能夠明確地表達期望的行為,並避免產生不期望的副作用。
白話說明
你有沒有想過,AI 為什麼知道「做這件事比較好」?
你可以把獎勵函數想成成績計分表,AI 做到你要的行為就加分,做不到就少分。
它重要是因為強化學習學的不是答案本身,而是目標怎麼被衡量。
記住這句
先定義什麼叫好,再讓模型去追分。
比喻:獎勵函數就像訓練寵物的零食或讚美 -- 當寵物做出你希望的動作(正確行為)時,你就給它獎勵,牠就會學著重複這些動作,避開那些沒獎勵或有懲罰的行為。
容易混淆
獎勵函數 vs 損失函數
獎勵函數是越高越好
損失函數是越低越好
最關鍵的區別是最大化還是最小化。
獎勵函數 vs 獎勵建模
獎勵函數是評分規則
獎勵建模是學出這個評分規則
最關鍵的區別是規則本身還是規則的來源。
實際案例
送餐機器人
如果只獎勵速度,機器人可能亂衝,所以通常要把安全和準時一起放進獎勵函數。
遊戲 AI
打怪加分、死亡扣分、達成任務再加分,這些都會影響最後學到的策略。
演算法與應用
好的獎勵函數要盡量貼近真正目標,否則模型會學會鑽漏洞。
獎勵稀疏時,模型很難知道哪一步有用,通常要靠獎勵塑形。
在實務上,獎勵設計常比演算法本身更難。
情境判斷
Q1(直覺題):如果模型只顧著拿高分,卻做出不安全動作,問題多半出在哪裡?
多半出在獎勵函數設計不完整。
Q2(判斷題):把所有你想要的行為都加進獎勵函數,就一定比較好嗎?
不一定。太多條件可能互相衝突,讓模型不知道該優先追哪一個目標。
常見問題
A:就是把原本很難拿到的最終獎勵,拆成途中也能得到的小獎勵。
A:因為模型可能只學會追每一步的小分數,反而忽略真正目標。
A:如果獎勵函數沒有對齊人類真正想要的結果,模型就可能學偏。
出現在這些考古題
官方公告試題的逐題解析裡,這 2 題把獎勵函數列為延伸術語。
相關術語
- 強化學習Reinforcement Learning讀完這個,再回來看主題會更完整。
- 獎勵建模Reward Modeling先看這個,再回頭看獎勵函數,會更懂偏好怎麼變成分數。
- 策略梯度Policy Gradient強化學習和獎勵更新常會看到它。
- 馬可夫決策過程Markov Decision Process先讀這個,強化學習的形式化才完整。
- 人類回饋強化學習RLHF它是把人類偏好接進模型的完整流程。
- 演員-評論家Actor-Critic
本頁內容有提到,或屬於同一組主題的術語
來源
這個術語目前沒有標註外部來源。
其他格式:Markdown 版本