iPAS 考題解析某企業建置檢索增強生成（Retrieval-augmented generation, RAG）系統支援內部知識查詢。隨著使用量提升，團隊發現模型回覆品質穩定，但推論延遲與運算成本逐漸增加。專案規劃在維持回覆品質前提下進行效能優化。在此情境下，若採用知識蒸餾（Knowledge Distillation），下列敘述何者最為合理？

解析

正確答案：D. 使小型模型學習大型模型行為，以降低推論成本

知識蒸餾是讓小型模型（學生模型）學習大型模型（教師模型）的行為與輸出，從而在維持品質的前提下降低推論延遲與運算成本。

每個選項為什麼對或錯

• A 將檢索資料轉換為結構化規則以取代模型 錯誤選項

  知識蒸餾不是將資料轉換為規則，而是模型間的知識轉移。

• B 僅透過增加檢索文件數量改善效能 錯誤選項

  增加檢索文件數量反而會增加延遲，與效能優化目標相反。

• C 停用生成模型以避免延遲問題 錯誤選項

  停用生成模型會失去 RAG 的核心功能，不是合理的優化方式。

• D 使小型模型學習大型模型行為，以降低推論成本 正解

  知識蒸餾透過讓小型模型學習大型模型的行為，實現效能優化與成本降低。

答案、題目或解析有問題？回報這題

題目 © 經濟部產業發展署，AITerms.tw 僅作教學解析使用，本站解析以 CC BY-NC-SA 4.0 授權。