iPAS 備考專區 登入

iPAS AI 應用規劃師 初級 科目二 生成式 AI 應用與規劃・115 年第一次・L12・第 40 題

Reinforcement Fine-tuning(RFT)的主要目的是什麼?

原題

某企業導入大型語言模型(LLM)進行客服自動化,並已透過 Fine-Tuning 學習企業標準問答範例,但在實務運作中仍出現回應策略不符合服務優先順序及語氣與品牌風格不一致的情況,因此技術團隊建議再導入 Reinforcement Fine-tuning(RFT)機制進行優化,其主要目的為何?

白話

企業已透過 Fine-Tuning 讓模型學習企業標準問答範例,但實務上仍出現回應策略不符合服務優先順序、語氣與品牌風格不一致的問題。技術團隊建議再導入 RFT(Reinforcement Fine-tuning)機制來優化。

問你:導入 RFT 機制的主要目的是什麼?

一句話總結

RFT(Reinforcement Fine-tuning)的核心是用 reward 訊號(好的回應給正分、不好的給負分)來調整模型的「行為偏好」,讓它學會在面對模糊或多選擇情境時,優先選擇符合企業服務優先順序和品牌風格的回應策略。

情境

先感受問題:Fine-Tuning 之後,客服 AI 還有什麼問題?

「豐盛電信」的 AI 工程師小倫,已經把幾千個客服問答範例拿來做 Fine-Tuning,讓模型學會「豐盛電信的客服標準說法」。模型現在知道怎麼說「感謝您的詢問,您目前的費率方案為…」這類標準格式了。

但主管反映:有時候客戶問問題,AI 回覆的優先順序不對。例如客戶投訴帳單有誤,AI 應該先道歉、確認問題,再提供解決方案,但 AI 有時候直接跳到解決方案,讓客戶覺得不被重視。還有時候語氣突然變得太正式或太輕鬆,不符合豐盛的品牌調性。

Fine-Tuning 教了模型「說什麼話」,但沒有教模型「在什麼情境下優先選哪個策略」這種行為判斷。這是 Fine-Tuning 的邊界,也是 RFT 要介入的地方。

舊方法

Fine-Tuning 解決了什麼、解決不了什麼?

  1. Fine-Tuning 能做到的:讓模型學習特定的說話格式、特定的問答對應、特定的詞彙偏好。「當客戶問 X,回答 Y」這種一對一的對應關係,Fine-Tuning 很擅長
  2. Fine-Tuning 做不到的:教模型「在多個可行回應中,哪個更符合企業服務哲學」。這種「策略性偏好」不是單一問答對能表達的,是跨情境的行為傾向
  3. 行為偏好的問題:「先道歉再解決問題」vs「直接解決問題」兩種回應格式都是「正確的客服話術」,Fine-Tuning 資料裡可能兩種都有,模型不知道哪個更優先
  4. RFT 的切入點:不再教「說什麼」,而是用 reward 訊號告訴模型「這樣的策略選擇,得分高;那樣的策略選擇,得分低」,逐漸讓模型的偏好朝正確方向移動
  5. 類比:Fine-Tuning 像教員工背話術;RFT 像績效考核,用實際服務評分讓員工知道什麼行為被鼓勵

新方法

RFT 的 reward 訊號怎麼調整行為偏好

RFT(Reinforcement Fine-tuning)把強化學習(Reinforcement Learning)的概念整合進語言模型的訓練:

定義 reward 函數:企業先定義「什麼叫好的客服回應」。例如:先道歉的回應 +2 分、語氣符合品牌風格 +1 分、直接跳到解決方案且未道歉 -1 分、使用非標準詞彙 -1 分。這個評分標準編碼了企業的服務價值觀。

模型生成 + 評分 + 調整:在訓練過程中,模型對同一個客戶問題生成多種不同的回應,每個回應都用 reward 函數評分,模型從這些訊號中學習「哪類回應得分高」,逐漸更新自己的策略偏好。

結果:模型不再只是「記住例子」,而是「內化了評分標準」,在面對新的、從未見過的情境時,也會優先選擇符合服務優先順序和品牌風格的回應。

這就是選項 B 描述的:透過 reward 訊號調整模型回應策略與行為偏好。

錯選項

為什麼其他選項是錯的

A擴展模型的知識涵蓋範圍與資料記憶能力

字面在說什麼

說 RFT 的目的是讓模型知道更多東西,擴大它的知識庫。

為什麼不對

擴展知識是預訓練或 RAG 的功能,不是 RFT 的目的。RFT 不是在給模型更多知識,而是在調整模型「如何運用它已有的知識做出選擇」的策略偏好。而且題目的問題不是「模型知識不夠」,是「行為策略不符合業務要求」。

誰會選錯

把「RFT 是一種訓練方法」和「訓練 = 學更多知識」混淆的人。訓練的目的不只是增加知識,也包含調整行為策略。

C提升模型推論速度與降低回應延遲

字面在說什麼

說 RFT 是為了讓模型回應更快、延遲更低。

為什麼不對

推論速度和延遲是「模型推論效率優化」的問題,屬於模型壓縮(量化、蒸餾)或硬體優化的範疇,跟 RFT 完全無關。RFT 是訓練方法,調整的是模型的行為偏好,不是推論速度。

誰會選錯

在多個選項中找感覺「有用的功能」就選的人。要先理解 RFT 的機制(強化學習 reward),才能知道它能解決什麼問題、不能解決什麼問題。

D降低 prompt 設計複雜度並取代訓練流程

字面在說什麼

說 RFT 是為了讓使用者不需要設計複雜的提示詞,甚至可以取代訓練。

為什麼不對

RFT 本身就是一種訓練方法,說它「取代訓練流程」是自相矛盾的。而且 RFT 和 Prompt Engineering 是不同層面的工具,RFT 調整模型本身的偏好,不能「取代」提示詞設計。兩者通常配合使用,不是替代關係。

誰會選錯

對 RFT 機制不熟悉、憑感覺猜的人。RFT 是訓練層面的方法,無法取代訓練,也不直接影響 prompt 設計複雜度。

變形題

同個考點下次怎麼變形

延伸

想再往下看,這 5 個

答案、題目或解析有問題?回報這題

出處:iPAS 經濟部產業人才能力鑑定 ・ 115 年第一次 iPAS AI 應用規劃師 初級 科目二 生成式 AI 應用與規劃 第 40 題

看官方原文 PDF

原題 © 經濟部產業發展署,AITerms.tw 僅作教學解析使用,本站解析以 CC BY-NC-SA 4.0 授權。