完整定義
檢索增強微調(Retrieval-Augmented Fine-tuning, RAFT)是一種將檢索式模型與生成式模型結合的技術。它首先從外部知識庫中檢索與輸入相關的資訊,然後將這些資訊融入到微調過程中,以提升模型在特定任務上的效能,尤其是在需要大量外部知識的任務中。
白話說明
你有沒有想過,模型如果在微調時就先看過相關文件,會不會更懂專業領域?
你可以把檢索增強微調想成一邊補課、一邊做題,模型在訓練時就把外部知識一起納入。
它重要是因為有些領域知識更新很快,單靠封閉式微調很容易跟不上。
記住這句
訓練時就讓模型看文件,叫檢索增強微調。
比喻:檢索增強微調就像一個聰明的學生在考試前,除了努力讀書(微調),還懂得查閱參考書(檢索)來補充知識 -- 這樣能更準確地回答問題,減少「瞎編」的情況。
容易混淆
檢索增強微調 vs RAG
檢索增強微調是在訓練階段把檢索納進來
RAG 多半是在推論時先檢索再生成
最關鍵的區別是訓練時用還是回答時用。
檢索增強微調 vs 傳統微調
前者會把外部知識片段一起帶進訓練
後者主要是拿標註資料直接調參
最關鍵的區別是有沒有把檢索結果當訓練訊號。
實際案例
企業內部知識
客服模型微調時直接搭配制度文件,之後回答會更貼近公司規範。
醫療問答
模型在微調過程中參考最新指南,比只看舊資料更容易跟上臨床更新。
演算法與應用
它常把檢索到的片段、問題與答案一起組成訓練樣本。
好處是能把外部知識和模型參數一起調整,減少純微調的盲點。
但資料品質很關鍵,檢索到錯的內容,模型也會學歪。
情境判斷
Q1(直覺題):如果訓練資料裡直接放入搜尋到的文件片段,這比較像什麼?
這比較像檢索增強微調,因為檢索結果已經參與訓練。
Q2(判斷題):檢索增強微調做得好,就代表推論時不用再檢索了嗎?
不一定。很多場景推論時還是需要檢索,因為知識會更新,模型參數不會自己長新資料。
常見問題
A:RAFT 會把檢索到的知識一起用來訓練,傳統微調則主要依賴固定標註資料。
A:通常看資料更新頻率、成本和目標任務,知識變動越快,越需要把檢索納進流程。
A:最怕檢索回來的內容不準,因為訓練時會把錯誤一起學進去。
相關術語
- 檢索增強生成Retrieval-Augmented Generation它和重排序、檢索管線常綁在一起看。
- 微調Fine-tuning理解它,才能分清它和 RAG 的差別。
- 語言模型Language ModelRAG 和 RAFT 都是在語言模型上做增強。
- 嵌入表示Embedding檢索系統多半靠它做語意表示。
- 向量資料庫Vector DatabaseRAG 常會把它當知識檢索底座。
本頁內容有提到,或屬於同一組主題的術語
來源
這個術語目前沒有標註外部來源。
其他格式:Markdown 版本