完整定義
持續學習(Continual Learning),又稱終身學習(Lifelong Learning),是一種機器學習範式,旨在開發能夠隨著時間推移,從不斷變化的資料流中學習新任務,同時保留先前學習知識的模型。它克服了災難性遺忘問題,使模型更具適應性和泛化能力。
白話說明
你有沒有想過,模型可不可以一邊學新東西,一邊保留舊知識?
你可以把持續學習想成「不斷上新課,但不忘舊課」:模型接到新任務時,還能記得之前學過的內容。
它很重要,因為真實世界的資料一直變,新任務一來就把舊知識洗掉,模型就會越學越短命,尤其在產品一直擴充新功能時特別明顯。
記住這句
學新東西時,別把舊知識洗掉。
比喻:持續學習就像你不斷上課、學新東西,但不會學了微積分就忘了怎麼寫字 -- 它讓 AI 能在學習新技能的同時,還能記得以前學過的所有知識。
容易混淆
持續學習 vs 傳統重訓 vs 線上學習
持續學習:學新任務時盡量保留舊知識
傳統重訓:常用新資料蓋掉舊能力
線上學習:資料到哪就學到哪,偏重即時更新
最關鍵的區別:持續學習最在意的是「不要忘記舊東西」。
實際案例
語音助理更新
前:模型學會新口音後,反而聽不懂舊口音
後:用持續學習保住原有辨識能力,再慢慢吸收新資料
客服分類器擴充
前:新增一種產品線後,原本的分類準確率掉很多
後:用記憶回放或正則化方法保留舊類別能力
演算法與應用
持續學習常用記憶回放、正則化、參數隔離與知識蒸餾等策略
它和災難性遺忘是對立面,研究重點就是想辦法在學新任務時保住舊能力
在產品裡,它很適合任務會逐步增加、類別會一直擴張的場景
災難性遺忘是它要解決的核心問題
持續學習(continual learning,也叫終身學習 lifelong learning)要處理的是:模型學了新任務之後,舊任務的表現大幅下降。這個現象叫災難性遺忘(catastrophic forgetting)。
原因很直接:神經網路的知識分散在權重裡,訓練新任務時梯度下降只在乎新任務的損失,會把對舊任務重要的權重一起改掉。而訓練時看不到舊資料,所以沒有任何力量阻止這件事。
人類不會這樣。學會騎機車不會忘記騎腳踏車,這個差距是持續學習領域存在的原因。
三類主流做法
正則化法。 找出對舊任務重要的權重,訓練新任務時限制它們的變動幅度。代表方法是彈性權重固化(EWC),用費雪資訊矩陣估計每個權重的重要性,越重要的懲罰越重。優點是不需要存舊資料,缺點是任務一多,被鎖住的權重越來越多,最後學不動新東西。
回放法(rehearsal)。 保留一小部分舊資料,訓練新任務時混進去一起訓練。這是效果最穩定的一類,缺點是要儲存空間,而且在隱私法規下不一定能留。變體是生成式回放:訓練一個生成模型來合成舊資料,不存原始資料。
架構法。 為新任務新增專屬的參數,舊參數凍結不動。代表是漸進式神經網路與各種 adapter。優點是完全不會遺忘,缺點是參數量隨任務數成長。
現在大型語言模型上最常用的其實是架構法的變體:LoRA。為每個新領域訓一組低秩的旁支權重,主模型完全不動,需要時載入對應的那一組。這既避免遺忘,額外參數又很小。
實務上的判斷
多數情況不需要真的做持續學習,重新訓練就好。 如果你有完整的歷史資料而且算力負擔得起,把新舊資料混在一起重訓一次,效果一定比任何持續學習方法好。持續學習是在「拿不到舊資料」或「不能重訓」時才需要的權宜之計。
真正需要的場景: 資料因隱私規定無法保留、模型部署在邊緣裝置上要就地學習、資料以串流形式持續進來且分布會變。
一定要保留一組固定的舊任務評估集。 沒有它,遺忘發生了你也不會知道,因為新任務的指標看起來一切正常。
情境判斷
Q1(直覺題): 模型學新分類後,舊分類能力還在,這比較像持續學習嗎?
是,這正是它想達成的事。
Q2(判斷題): 只要每次都把全部歷史資料重訓一次,就等於持續學習嗎?
不等於。那比較像重新訓練,不是針對保留舊知識設計的方法。
常見問題
不一樣,遷移學習偏向把舊知識搬到新任務,持續學習更在意新舊任務一起維持。
因為新資料更新時,梯度可能把舊參數推離原本有用的位置。
任何會不停加入新類別、新場景或新語言的系統都很適合。
相關術語
來源
這個術語目前沒有標註外部來源。
其他格式:Markdown 版本