iPAS 考題解析某企業導入大型語言模型作為客服助理。模型已具備穩定語言能力，但在回覆偏好一致性與組織規範遵循方面仍需優化，團隊因此規劃導入人類反饋強化學習（RLHF）流程，下列何者最不屬於 RLHF 階段的典型技術活動？

解析

正確答案：D. 以未標註語料為主進行長週期表示學習訓練，以提升模型基礎語言建模能力

RLHF 流程包含三個階段：收集人類偏好資料、訓練獎勵模型、用強化學習優化生成策略。以未標註語料進行基礎語言建模屬於預訓練階段，不屬於 RLHF 的技術活動。

每個選項為什麼對或錯

• A 透過人工評估方式建立偏好資料，使模型的不同候選輸出可反映人類主觀品質差異 錯誤選項

  收集人類偏好資料是 RLHF 的第一步，屬於典型技術活動。

• B 訓練一個能依據人類偏好判斷輸出品質的模型，作為模型優化過程中的回饋依據 錯誤選項

  訓練獎勵模型（Reward Model）來判斷輸出品質是 RLHF 的第二步。

• C 依據品質評估結果，調整模型生成策略，使其輸出更符合偏好導向的行為表現 錯誤選項

  透過強化學習調整生成策略是 RLHF 的第三步。

• D 以未標註語料為主進行長週期表示學習訓練，以提升模型基礎語言建模能力 正解

  以未標註語料進行預訓練屬於基礎模型訓練，不屬於 RLHF 階段（正確答案）。

答案、題目或解析有問題？回報這題

題目 © 經濟部產業發展署，AITerms.tw 僅作教學解析使用，本站解析以 CC BY-NC-SA 4.0 授權。