直接偏好優化 是什麼？

Direct Preference Optimization — 直接偏好優化 的完整解釋

直接偏好優化（DPO）是一種直接利用人類偏好資料，優化語言模型，無需訓練獎勵模型的強化學習替代方案。

容易混淆

vs 基於人類回饋的強化學習 (RLHF) RLHF 像讓模型先學會「討好」一個評分機器人（獎勵模型），再讓評分機器人指導它；DPO 則直接讓模型看「人類的喜好」，少了一個中間環節，訓練起來更直接、更穩定。

人類回饋強化學習 vs 獎勵建模 人類回饋強化學習 比較像同一類問題裡的近鄰參考，獎勵建模 則更像把資料或結構往更深一層整理，兩者的用法不一樣。

最關鍵的區別： 先看它是在做「理解、生成、分組、保護」哪一件事，再看細節。

記住這句就好

直接學人類偏好，少繞一圈獎勵模型

實際案例

案例一：直接偏好優化 調整聊天模型 你不想再訓練一個獎勵模型，只想讓模型更偏向人類喜歡的回答，DPO 就是這種做法。

案例二：直接偏好優化 比較兩個回覆 給模型一對偏好樣本，讓它直接學哪個答案比較符合人類口味，流程會比傳統 RLHF 更短。

深入了解

DPO 的做法是直接用偏好對比來調整模型輸出機率 和 RLHF 相比，它少了獎勵模型這一段，流程更短、調參也通常更直觀 但它還是很吃偏好資料品質，資料歪了，模型也會跟著歪

直接偏好優化 真正重要的，不是名詞本身，而是它幫你解決的是哪一類問題。

情境判斷

Q1（直覺題）： 如果你只想讓模型更符合人類喜好，還需要先訓練一個獎勵模型嗎？ → 不一定，DPO 就是想少走這一步，直接用偏好資料來調整模型。

Q2（判斷題）： 少一步就代表一定比較好嗎？ → 看情況，因為流程更簡單不代表資料品質要求變低，偏好標註若有偏差，模型還是會被帶歪。

常見問題

DPO相比RLHF有哪些優勢？

DPO相比RLHF的主要優勢在於簡化了訓練流程，降低了複雜性和訓練成本。DPO避免了訓練獎勵模型的步驟，直接利用人類偏好資料優化語言模型，因此更容易實施和調試。此外，DPO通常具有更穩定的訓練過程，避免了獎勵模型訓練不穩定可能導致的問題。總體而言，DPO是一種更高效、更易於使用的RLHF替代方案。

DPO對人類偏好資料的品質有什麼要求？

DPO對人類偏好資料的品質要求很高。偏好資料需要盡可能準確地反映人類的真實偏好，並且需要避免偏差。為了確保資料品質，可以採用多種方法，例如提供清晰的指導、邀請多樣化的回饋者、對回饋者進行培訓、進行一致性檢查等。此外，可以使用主動學習等方法，選擇最需要人類回饋的樣本進行標註，以提高資料的效率。

DPO是否適用於所有類型的語言模型？

DPO理論上適用於所有類型的語言模型，但實際效果可能因模型結構和訓練資料而異。DPO通常在大型語言模型上表現良好，因為這些模型具有較強的表達能力和泛化能力。對於較小的模型，可能需要更多的資料或更精細的調整才能獲得良好的效果。此外，DPO的性能還受到偏好模型的影響，因此選擇合適的偏好模型也很重要。