終身學習 是什麼？
Lifelong Learning：終身學習 的完整解釋
機器學習系統在整個生命週期內不斷學習新知識、新任務，同時保留和擴展既有知識。
核心概念
終身學習（Lifelong Learning）是對機器學習基本假設的根本挑戰。傳統 ML 假設訓練資料固定、任務靜態、部署後模型不變。但真實世界中，系統部署後環境、用戶、任務持續演化。
終身學習系統有五大特徵：
- 序列學習新任務而非同時學習
- 無遺忘地保留舊知識
- 利用舊知識加速新任務學習
- 發現任務相似性和知識遷移機會
- 自動決定何時需要擴展容量或能力
這不是簡單的微調或持續訓練，而是系統性的、多維度的終身適應框架。
運作原理
知識表示層次
終身學習系統需要多層知識表示：
通用知識層（Universal Knowledge）
- 所有任務共享的基礎知識，如視覺邊界檢測、語言詞彙
- 通過多任務訓練逐步構建和精煉
任務特異知識層（Task-Specific Knowledge）
- 針對特定任務的專有知識，如分類頭的偏置
- 可快速更新但需與通用知識解耦
元知識層（Meta-Knowledge）
- 學習如何學習的知識，包括最優的學習速率、特徵表示、防遺忘策略
- 跨任務累積，使新任務學習越來越高效
核心模組
任務檢測器（Task Detector）
- 判斷新輸入是既有任務還是新任務
- 使用聚類、異常檢測或顯式邊界標記
知識檢索器（Knowledge Retriever）
- 當新任務來臨時，從歷史任務中檢索相似知識
- 加速新任務的適應，避免從零開始
防遺忘機制（Forgetting Prevention）
- 確保新任務優化不破壞舊知識
- 可採用記憶回放、正則化、結構擴展等策略
容量管理器（Capacity Manager）
- 監控模型容量，決定何時需擴展
- 避免過度膨脹或過度擁擠
學習範式
類別遞增學習
系統不知道什麼時候新類別出現。需要異常偵測識別新類別，然後動態添加分類器。
域遞增學習
任務和類別不變，但資料分佈漂移。系統需適應新域而不遺忘舊域。
任務遞增學習
系統明確知道新任務邊界。相對簡單，但現實中任務邊界通常模糊。
實際應用
個人助理
聲音助理初期學習用戶的語音特徵和常見命令。隨著使用，系統學習新語言、新領域、新用語。真正的個人助理應該終身學習用戶偏好和行為變化，而不是每次更新都需要重訓。
自主機器人
機器人在工廠初期經過訓練。部署後遇到新物體、新工作流程、新環境變化。終身學習讓機器人適應而不需召回重訓，提升效率。
金融詐欺檢測
詐欺手法不斷演化，新型詐欺層出不窮。終身學習系統能實時吸收新詐欺樣本，更新檢測模型，而不遺忘對舊型詐欺的檢測能力。
醫療診斷
新疾病、新症狀、新影像技術不斷出現。醫療 AI 系統需要終身學習納入新知識，同時保持對既有疾病的診斷準確性。
常見誤區
- 終身學習 = 持續訓練：簡單持續訓練會遺忘。終身學習是結構化的多組件系統
- 終身學習 = 無限容量：容量有限。需要智能的知識壓縮和遺忘機制
- 所有任務都應納入終身學習：某些任務可能無關緊要。系統需篩選和優先化
- 終身學習會無限提升性能：有邊界遞減效應。新任務和舊知識衝突時無法無限提升
與相關技術的比較
- 終身學習 vs 持續學習：持續學習強調防遺忘和序列任務；終身學習更全面，包含知識遷移、任務發現、元學習等
- 終身學習 vs 多任務學習：多任務同時訓練；終身學習序列訓練但利用知識遷移
- 終身學習 vs 元學習：元學習教系統如何快速適應新任務；終身學習是元學習的應用領域
- 終身學習 vs 增量學習：增量學習逐漸添加新資料；終身學習處理新任務、新領域、新環境等多維度變化