在深度學習模型的微調(Fine-tuning)過程中,可能出現所謂的「災難性遺忘(Catastrophic Forgetting)」。此現象最可能造成哪種情況?
iPAS 考題解析
在深度學習模型的微調(Fine-tuning)過程中,可能出現所謂的「災難性遺忘(Catastrophic Forgetting)」。此現象最可能造成哪種情況?
- A. 由於計算資源或訓練步驟不足,模型在微調過程中無法完整收斂,導致學習效果受限;
- B. 微調後模型的表現變得隨機,無法有效記憶新學到的模式與知識;
- C. 微調後模型的部分權重產生偏移,導致模型無法針對較長的文字進行回應;
- D. 模型過度適應微調的資料分佈,逐漸遺忘先前預訓練所獲得的廣泛知識,在原有任務或廣泛領域上表現變差 ✓ 正確答案
詳細解析
災難性遺忘是指模型在學習新任務時,過度調整權重以適應新資料,導致先前學到的知識被覆蓋。模型在原有任務上的表現會顯著下降,因為它「忘記」了預訓練階段學到的通用知識。
出題年份:114 難度:★★☆