在深度學習模型的微調(Fine-tuning)過程中,可能出現所謂的「災難性遺忘(Catastrophic Forgetting)」。此現象最可能造成哪種情況?
iPAS 考題解析
在深度學習模型的微調(Fine-tuning)過程中,可能出現所謂的「災難性遺忘(Catastrophic Forgetting)」。此現象最可能造成哪種情況?
- A. 由於計算資源或訓練步驟不足,模型在微調過程中無法完整收斂,導致學習效果受限;
- B. 微調後模型的表現變得隨機,無法有效記憶新學到的模式與知識;
- C. 微調後模型的部分權重產生偏移,導致模型無法針對較長的文字進行回應;
- D. 模型過度適應微調的資料分佈,逐漸遺忘先前預訓練所獲得的廣泛知識,在原有任務或廣泛領域上表現變差 ✓ 正確答案
詳細解析
災難性遺忘(Catastrophic Forgetting)是模型過度適應微調(Fine-tuning)資料,逐漸遺忘先前預訓練(Pre-training)的廣泛知識,導致原有任務表現變差。
難度:★★★