完整定義
群組相對策略最佳化(Group Relative Policy Optimization,GRPO)是 DeepSeek 團隊在 2024 年 2 月的 DeepSeekMath 論文提出的強化學習演算法,屬於近端策略最佳化(PPO)的變體。PPO 需要另外訓練一個通常和策略模型差不多大的價值模型(critic)來估計基準,記憶體與運算負擔很重。GRPO 對同一個問題取樣一組回答,用這組回答的獎勵平均當基準,比平均好的回答提高機率,比平均差的降低機率,因此省下價值模型。它常用在數學、程式這類答案能自動判斷對錯的推理任務,DeepSeek-R1 與 DeepSeek-R1-Zero 的強化學習階段都採用 GRPO。和 DPO 的差別在於,DPO 直接用成對的偏好資料離線最佳化,GRPO 則是線上取樣、依獎勵更新的強化學習方法。
白話說明
訓練推理模型時,怎麼在不另外訓練價值模型的情況下,知道這個回答比一般水準好還是差?
GRPO 的做法是同一題讓模型回答好幾次,拿這一組回答的平均獎勵當標準,比平均好的回答就提高機率,比平均差的就降低。
它是 PPO 的變體,省下了 PPO 需要另外訓練的價值模型。DeepSeek-R1 系列的強化學習階段用的就是它,其中 DeepSeek-R1-Zero 跳過監督式微調,直接用 GRPO 練出推理能力。
記住這句
同一題答好幾次,跟自己的平均比,省掉價值模型。
比喻:GRPO 像老師一次收同一題的多份作答,照樣逐份打分數,但不另外請人預估這題應該拿幾分,而是拿這一組答案的平均分當標準,比平均好的多學一點,比平均差的少學一點
容易混淆
GRPO vs PPO
PPO 要另外訓練一個價值模型(critic)來估計每個回答的基準
GRPO 對同一題取樣多個回答,用這組回答的平均獎勵當基準
最關鍵的區別是基準從哪裡來,GRPO 因此不需要價值模型,訓練資源省很多。
GRPO vs DPO
DPO 直接用成對的偏好資料(哪個回答比較好)做離線最佳化
GRPO 是線上取樣、依獎勵分數更新的強化學習方法
最關鍵的區別是 DPO 不用另外訓練獎勵模型,訓練中也不用取樣,GRPO 需要能替回答打分數的獎勵與線上取樣。
實際案例
數學推理訓練
每道數學題讓模型產生多個解答,最終答案對的給較高獎勵,再依每個解答比這組平均好多少來調整模型。
DeepSeek-R1
DeepSeek-R1 論文寫明 DeepSeek-R1-Zero 與 DeepSeek-R1 都用 GRPO 作為強化學習演算法,讓模型在答案可驗證的任務上學會較長的推理。
演算法與應用
對每個問題,從舊的策略模型取樣一組回答,用獎勵函數或獎勵模型替每個回答打分數。
把每個回答的分數減掉這組的平均、再除以這組的標準差,得到相對優勢,比平均好的是正值,比平均差的是負值(這是只看最終答案打分的版本,論文另有逐步打分的版本)。
更新時沿用 PPO 的截斷目標,避免一次改太多,並把和參考模型之間的 KL 散度直接加進損失函數,避免模型偏離原本太遠,PPO 則是把 KL 懲罰加在每個 token 的獎勵裡。
因為不用訓練和策略模型差不多大的價值模型,記憶體和運算需求比 PPO 低,適合數學、程式這類答案能自動評分的任務。
情境判斷
Q1(直覺題):同一題讓模型回答 8 次,用這 8 個回答的平均分數當基準來更新模型,這是什麼方法的核心想法?
這是 GRPO 的群組相對基準。
Q2(判斷題):用了 GRPO,就完全不需要任何評分機制嗎?
不對。GRPO 省掉的是價值模型,還是需要獎勵函數或獎勵模型替每個回答打分數。
常見問題
GRPO 是 Group Relative Policy Optimization 的縮寫,中文可譯為群組相對策略最佳化,是 DeepSeekMath 論文提出的強化學習演算法。
兩者都用截斷的策略更新避免一次改太多,差別在基準怎麼來。PPO 用另外訓練的價值模型估計,GRPO 用同一題多個回答的平均獎勵,因此不需要價值模型,訓練資源比較省。
是,指的是強化學習階段。DeepSeek-R1 論文寫明 DeepSeek-R1-Zero 與 DeepSeek-R1 都採用 GRPO 作為強化學習演算法,其中 DeepSeek-R1 另外還有冷啟動資料與監督式微調等階段。
適合答案能自動評分的任務,例如數學題可以比對最終答案、程式題可以跑測試,這類獎勵容易取得,同一題多次取樣也能形成有意義的比較。
不一定。GRPO 省下價值模型、實作比較簡單,但每題要取樣多個回答,獎勵設計不好時一樣會學歪,要依任務和資源選擇。
相關術語
來源
參考來源:arxiv.org
其他格式:Markdown 版本