檢索增強微調 是什麼？
Retrieval-Augmented Fine-tuning — 檢索增強微調 的完整解釋
檢索增強微調結合了檢索式和生成式模型的優勢，透過檢索相關資訊來增強微調過程，提升模型在特定任務上的效能。
容易混淆
檢索增強微調 vs RAG
檢索增強微調是在訓練階段把檢索納進來 RAG 多半是在推論時先檢索再生成 最關鍵的區別是訓練時用還是回答時用。
檢索增強微調 vs 傳統微調
前者會把外部知識片段一起帶進訓練 後者主要是拿標註資料直接調參 最關鍵的區別是有沒有把檢索結果當訓練訊號。
記住這句就好
訓練時就讓模型看文件，叫檢索增強微調。
實際案例
企業內部知識 客服模型微調時直接搭配制度文件，之後回答會更貼近公司規範。
醫療問答 模型在微調過程中參考最新指南，比只看舊資料更容易跟上臨床更新。
算法與應用
它常把檢索到的片段、問題與答案一起組成訓練樣本。 好處是能把外部知識和模型參數一起調整，減少純微調的盲點。 但資料品質很關鍵，檢索到錯的內容，模型也會學歪。
情境判斷
Q1（直覺題）：如果訓練資料裡直接放入搜尋到的文件片段，這比較像什麼？
→ 這比較像檢索增強微調，因為檢索結果已經參與訓練。
Q2（判斷題）：檢索增強微調做得好，就代表推論時不用再檢索了嗎？
→ 不一定。很多場景推論時還是需要檢索，因為知識會更新，模型參數不會自己長新資料。
相關術語
常見問題
RAFT 和傳統微調有什麼不同？
A：RAFT 會把檢索到的知識一起用來訓練，傳統微調則主要依賴固定標註資料。
檢索式模型怎麼選？
A：通常看資料更新頻率、成本和目標任務，知識變動越快，越需要把檢索納進流程。
檢索增強微調最怕什麼？
A：最怕檢索回來的內容不準，因為訓練時會把錯誤一起學進去。