某金融機構導入檢索增強生成(Retrieval-Augmented Generation, RAG)模型,用於客服文件查詢與自動回覆。由於大型模型運算成本過高,若考慮引入知識蒸餾(Knowledge Distillation, KD)技術,下列何者為帶來的主要效益?
iPAS 考題解析
某金融機構導入檢索增強生成(Retrieval-Augmented Generation, RAG)模型,用於客服文件查詢與自動回覆。由於大型模型運算成本過高,若考慮引入知識蒸餾(Knowledge Distillation, KD)技術,下列何者為帶來的主要效益?
- A. 讓小型模型學習大型模型的知識,在降低運算成本的同時維持檢索與生成品質 ✓ 正確答案
- B. 只能應用於語音或影像辨識,無法提升文字檢索生成效能
- C. 因為 RAG 已有檢索機制,因此無需額外蒸餾知識
- D. 僅能依賴特定 API 供應商才能使用,無法在自建模型中實現
詳細解析
知識蒸餾讓小型模型(學生模型)學習大型模型(教師模型)的知識與行為模式,在大幅降低運算成本與推論延遲的同時,盡可能維持與大型模型相近的檢索與生成品質。這對成本敏感的金融場景特別有價值。
出題年份:114 難度:★★☆