配對級學習排序 是什麼?

Pairwise Learning to Rank:配對級學習排序 的完整解釋

優化物品對的相對順序,確保相關物品排在不相關物品之前。計算複雜度與效果的良好平衡點。

核心概念

配對級學習排序(Pairwise Learning to Rank)是 LTR 三大方法中的折中方案,相比 Pointwise 考慮相對順序的結構性,相比 Listwise 計算複雜度更低。其核心思想是將排序問題簡化為判斷「物品 A 應否排在物品 B 前面」的二元決策。如果查詢 q 下物品 d_i 的相關度高於 d_j,則模型應給 d_i 更高的分數,違反此順序即產生損失。

Pairwise 方法的優勢在於損失函數與排序指標更緊密相關。相比 Pointwise 只關心單個物品的相關性預測,Pairwise 直接優化物品間的順序,這更接近排序的本質。相比 Listwise 考慮整個列表的全局質量,Pairwise 的計算複雜度顯著降低,使其在大規模應用中更可行。

運作原理

Pairwise 方法的核心是構造物品對的訓練集。給定查詢 q 和相關度標籤,任何相關度不同的物品對 (d_i, d_j) 形成一個訓練樣本。若 rel(q, d_i) > rel(q, d_j),則標籤為「d_i 應排在 d_j 前面」。通常用標籤 +1(d_i 應排前)、0(無差異)或 -1(d_j 應排前)表示。

損失函數衡量相對順序的違反。常見的損失包括:

  • Hinge Loss:L = max(0, 1 - (score(d_i) - score(d_j)) × label)
  • Logistic Loss:L = log(1 + exp(-label × (score(d_i) - score(d_j))))
  • Pairwise CrossEntropy:將順序視為二分類,d_i 應排前的概率為 σ(score(d_i) - score(d_j))

訓練時,系統逐個或批量處理物品對,計算損失並反向傳播更新模型參數。計算複雜度為 O(n^2)(每個查詢可有 O(n^2) 個物品對),相比 Listwise 低,相比 Pointwise 高。

Pairwise 方法的代表演算法包括 RankNet(神經網路 + Pairwise 損失)、LambdaRank(引入 lambda 權重強調重要物品對)、MART(Multiple Additive Regression Trees,Pairwise GBDT)。這些演算法在特徵表示方面可靈活選擇,從線性模型到複雜的深度神經網路。

實際應用

Pairwise 方法在搜尋和推薦系統中應用廣泛。微軟的 Bing 搜尋在其排序系統中採用 LambdaRank 演算法。Yahoo 公開發表了採用 RankNet 的搜尋排序系統論文。許多業界工程師和研究團隊基於 Pairwise 思想開發了生產系統。

Airbnb 在房源推薦中使用 Pairwise 排序,同時優化轉化率和用戶滿意度。LinkedIn 用 Pairwise 方法排序推薦的工作機會。在廣告系統中,Pairwise 方法用於廣告排序,平衡相關性和出價。

相比 Listwise 系統(如 LambdaMART),Pairwise 方法因其計算效率往往成為中型互聯網公司的通常,既提供了良好的排序質量,又不至於過度複雜化系統。

常見誤區

許多人認為 Pairwise 方法因考慮相對順序而完全避免了 Pointwise 的問題,但實際上 Pairwise 仍存在局限。例如,優化所有物品對的相對順序不一定導致最優的全局排序,特別是當物品對的相關度評分本身存在不一致性時。此外,Pairwise 生成的物品對數量龐大(O(n^2)),其中大部分可能是「簡單對」(相關度差異明顯),難對模型有貢獻,導致訓練效率低下。

另一個誤區是忽視物品對的不平衡問題。在實際數據中,相關物品通常少於不相關物品,導致訓練集中相關性很高的物品對很少,模型難以學習如何精細區分相關物品之間的順序。

還有人誤以為 Pairwise 損失函數的設計簡單,但實際上不同的損失函數(Hinge vs Logistic)會導致不同的模型行為,選擇不當會影響性能。

與相關技術的比較

  • 與 Pointwise:Pointwise 計算簡單但忽視相對順序,Pairwise 考慮相對順序但計算更複雜
  • 與 Listwise:Listwise 全局優化排序質量但計算最複雜,Pairwise 計算複雜度介於中間,性能接近 Listwise
  • 與協同過濾:協同過濾預測評分,Pairwise LTR 優化相對順序,兩者經常結合
  • 與強化學習排序:強化學習考慮序列決策和長期收益,Pairwise 優化單輪排序
  • 與點擊模型:點擊模型建模用戶的瀏覽和點擊行為,Pairwise LTR 假設點擊意味著相關

常見問題