AITerms 登入
GRPO強化學習大型語言模型

群組相對策略最佳化(Group Relative Policy Optimization)是什麼?

GRPO(群組相對策略最佳化)是 PPO 的變體,用同一題多個回答的平均獎勵當基準,不需要另外訓練價值模型。

同主題的術語大型語言模型

完整定義

群組相對策略最佳化(Group Relative Policy Optimization,GRPO)是 DeepSeek 團隊在 2024 年 2 月的 DeepSeekMath 論文提出的強化學習演算法,屬於近端策略最佳化(PPO)的變體。PPO 需要另外訓練一個通常和策略模型差不多大的價值模型(critic)來估計基準,記憶體與運算負擔很重。GRPO 對同一個問題取樣一組回答,用這組回答的獎勵平均當基準,比平均好的回答提高機率,比平均差的降低機率,因此省下價值模型。它常用在數學、程式這類答案能自動判斷對錯的推理任務,DeepSeek-R1 與 DeepSeek-R1-Zero 的強化學習階段都採用 GRPO。和 DPO 的差別在於,DPO 直接用成對的偏好資料離線最佳化,GRPO 則是線上取樣、依獎勵更新的強化學習方法。

白話說明

訓練推理模型時,怎麼在不另外訓練價值模型的情況下,知道這個回答比一般水準好還是差?

GRPO 的做法是同一題讓模型回答好幾次,拿這一組回答的平均獎勵當標準,比平均好的回答就提高機率,比平均差的就降低。

它是 PPO 的變體,省下了 PPO 需要另外訓練的價值模型。DeepSeek-R1 系列的強化學習階段用的就是它,其中 DeepSeek-R1-Zero 跳過監督式微調,直接用 GRPO 練出推理能力。

記住這句

同一題答好幾次,跟自己的平均比,省掉價值模型。

比喻:GRPO 像老師一次收同一題的多份作答,照樣逐份打分數,但不另外請人預估這題應該拿幾分,而是拿這一組答案的平均分當標準,比平均好的多學一點,比平均差的少學一點

容易混淆

GRPO vs PPO

PPO 要另外訓練一個價值模型(critic)來估計每個回答的基準

GRPO 對同一題取樣多個回答,用這組回答的平均獎勵當基準

最關鍵的區別是基準從哪裡來,GRPO 因此不需要價值模型,訓練資源省很多。

GRPO vs DPO

DPO 直接用成對的偏好資料(哪個回答比較好)做離線最佳化

GRPO 是線上取樣、依獎勵分數更新的強化學習方法

最關鍵的區別是 DPO 不用另外訓練獎勵模型,訓練中也不用取樣,GRPO 需要能替回答打分數的獎勵與線上取樣。

實際案例

數學推理訓練

每道數學題讓模型產生多個解答,最終答案對的給較高獎勵,再依每個解答比這組平均好多少來調整模型。

DeepSeek-R1

DeepSeek-R1 論文寫明 DeepSeek-R1-Zero 與 DeepSeek-R1 都用 GRPO 作為強化學習演算法,讓模型在答案可驗證的任務上學會較長的推理。

演算法與應用

對每個問題,從舊的策略模型取樣一組回答,用獎勵函數或獎勵模型替每個回答打分數。

把每個回答的分數減掉這組的平均、再除以這組的標準差,得到相對優勢,比平均好的是正值,比平均差的是負值(這是只看最終答案打分的版本,論文另有逐步打分的版本)。

更新時沿用 PPO 的截斷目標,避免一次改太多,並把和參考模型之間的 KL 散度直接加進損失函數,避免模型偏離原本太遠,PPO 則是把 KL 懲罰加在每個 token 的獎勵裡。

因為不用訓練和策略模型差不多大的價值模型,記憶體和運算需求比 PPO 低,適合數學、程式這類答案能自動評分的任務。

情境判斷

Q1(直覺題):同一題讓模型回答 8 次,用這 8 個回答的平均分數當基準來更新模型,這是什麼方法的核心想法?

這是 GRPO 的群組相對基準。

Q2(判斷題):用了 GRPO,就完全不需要任何評分機制嗎?

不對。GRPO 省掉的是價值模型,還是需要獎勵函數或獎勵模型替每個回答打分數。

常見問題

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

參考來源:arxiv.org

其他格式:Markdown 版本