某企業建置檢索增強生成（Retrieval-augmented generation, RAG）系統支援內部知識查詢。隨著使用量提升，團隊發現模型回覆品質穩定，但推論延遲與運算成本逐漸增加。專案規劃在維持回覆品質前提下進行效能優化。在此情境下，若採用知識蒸餾（Knowledge Distillation），下列敘述何者最為合理？
iPAS 考題解析
某企業建置檢索增強生成（Retrieval-augmented generation, RAG）系統支援內部知識查詢。隨著使用量提升，團隊發現模型回覆品質穩定，但推論延遲與運算成本逐漸增加。專案規劃在維持回覆品質前提下進行效能優化。在此情境下，若採用知識蒸餾（Knowledge Distillation），下列敘述何者最為合理？
- A. 將檢索資料轉換為結構化規則以取代模型
- B. 僅透過增加檢索文件數量改善效能
- C. 停用生成模型以避免延遲問題
- D. 使小型模型學習大型模型行為，以降低推論成本 ✓ 正確答案
詳細解析
知識蒸餾是讓小型模型（學生模型）學習大型模型（教師模型）的行為與輸出，從而在維持品質的前提下降低推論延遲與運算成本。
出題年份：115 難度：★★☆