---
title: "群組相對策略最佳化（Group Relative Policy Optimization）"
slug: group-relative-policy-optimization
language: zh-TW
source: https://aiterms.tw/terms/group-relative-policy-optimization
updated_at: 2026-11-15
tags: [GRPO, 強化學習, 大型語言模型, 推理模型, DeepSeek]
ipas_term: false
---

# 群組相對策略最佳化（Group Relative Policy Optimization）

> **訓練推理模型時，怎麼在不另外訓練價值模型的情況下，知道這個回答比一般水準好還是差？**
>
> GRPO 的做法是同一題讓模型回答好幾次，拿這一組回答的平均獎勵當標準，比平均好的回答就提高機率，比平均差的就降低。
>
> 它是 PPO 的變體，省下了 PPO 需要另外訓練的價值模型。DeepSeek-R1 系列的強化學習階段用的就是它，其中 DeepSeek-R1-Zero 跳過監督式微調，直接用 GRPO 練出推理能力。

### 容易混淆

> **GRPO vs PPO**
>
> PPO 要另外訓練一個價值模型（critic）來估計每個回答的基準
> GRPO 對同一題取樣多個回答，用這組回答的平均獎勵當基準
> 最關鍵的區別是基準從哪裡來，GRPO 因此不需要價值模型，訓練資源省很多。
>
> **GRPO vs DPO**
>
> DPO 直接用成對的偏好資料（哪個回答比較好）做離線最佳化
> GRPO 是線上取樣、依獎勵分數更新的強化學習方法
> 最關鍵的區別是 DPO 不用另外訓練獎勵模型，訓練中也不用取樣，GRPO 需要能替回答打分數的獎勵與線上取樣。
>

### 記住這句就好

> 同一題答好幾次，跟自己的平均比，省掉價值模型。

### 實際案例

> **數學推理訓練**
> 每道數學題讓模型產生多個解答，最終答案對的給較高獎勵，再依每個解答比這組平均好多少來調整模型。
>
> **DeepSeek-R1**
> DeepSeek-R1 論文寫明 DeepSeek-R1-Zero 與 DeepSeek-R1 都用 GRPO 作為強化學習演算法，讓模型在答案可驗證的任務上學會較長的推理。
>

### 演算法與應用

> 對每個問題，從舊的策略模型取樣一組回答，用獎勵函數或獎勵模型替每個回答打分數。
> 把每個回答的分數減掉這組的平均、再除以這組的標準差，得到相對優勢，比平均好的是正值，比平均差的是負值（這是只看最終答案打分的版本，論文另有逐步打分的版本）。
> 更新時沿用 PPO 的截斷目標，避免一次改太多，並把和參考模型之間的 KL 散度直接加進損失函數，避免模型偏離原本太遠，PPO 則是把 KL 懲罰加在每個 token 的獎勵裡。
> 因為不用訓練和策略模型差不多大的價值模型，記憶體和運算需求比 PPO 低，適合數學、程式這類答案能自動評分的任務。

### 情境判斷

> **Q1（直覺題）：同一題讓模型回答 8 次，用這 8 個回答的平均分數當基準來更新模型，這是什麼方法的核心想法？**
>
> → 這是 GRPO 的群組相對基準。
>
> **Q2（判斷題）：用了 GRPO，就完全不需要任何評分機制嗎？**
>
> → 不對。GRPO 省掉的是價值模型，還是需要獎勵函數或獎勵模型替每個回答打分數。
>

---

來源：https://aiterms.tw/terms/group-relative-policy-optimization
快查頁：https://aiterms.tw/terms/group-relative-policy-optimization
出處：
- DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models：https://arxiv.org/abs/2402.03300
- DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning：https://arxiv.org/abs/2501.12948
- Direct Preference Optimization: Your Language Model is Secretly a Reward Model：https://arxiv.org/abs/2305.18290
最後更新：2026/11/15