iPAS 考題解析在深度學習模型的微調(Fine-tuning)過程中,可能出現所謂的「災難性遺忘(Catastrophic Forgetting)」。此現象最可能造成哪種情況?
你的作答
在題目頁作答不會存進學習紀錄,想留下紀錄可以到題庫練習。
解析
正確答案:D. 模型過度適應微調的資料分佈,逐漸遺忘先前預訓練所獲得的廣泛知識,在原有任務或廣泛領域上表現變差
災難性遺忘是指模型在學習新任務時,過度調整權重以適應新資料,導致先前學到的知識被覆蓋。模型在原有任務上的表現會顯著下降,因為它「忘記」了預訓練階段學到的通用知識。
每個選項為什麼對或錯
-
A 由於計算資源或訓練步驟不足,模型在微調過程中無法完整收斂,導致學習效果受限; 錯誤選項
訓練步驟不足導致收斂問題是欠擬合,不是災難性遺忘的特徵。
-
B 微調後模型的表現變得隨機,無法有效記憶新學到的模式與知識; 錯誤選項
災難性遺忘是遺忘舊知識,不是表現變隨機或無法學新知識。
-
C 微調後模型的部分權重產生偏移,導致模型無法針對較長的文字進行回應; 錯誤選項
權重偏移導致無法處理長文字是模型能力的限制,與災難性遺忘無直接關聯。
-
D 模型過度適應微調的資料分佈,逐漸遺忘先前預訓練所獲得的廣泛知識,在原有任務或廣泛領域上表現變差 正解
過度適應新資料而遺忘預訓練知識,正是災難性遺忘的核心定義。
答案、題目或解析有問題?回報這題