完整定義
遷移學習是一種機器學習方法,用於將在一個任務上學習到的知識應用於另一個相關的任務。它能夠利用已訓練模型的知識,加速新任務的模型訓練,並提升模型在新任務上的效能,尤其是在目標任務資料量較少的情況下。在 iPAS 考試中,遷移學習是重要的概念,需要理解其原理、應用場景以及優缺點。
白話說明
你有沒有發現,會一種樂器的人,學第二種通常更快?
你可以把遷移學習想成「把已經學會的能力搬去新任務用」
模型不用從零開始,而是先借用舊任務學到的特徵,再針對新資料微調
這在資料少、算力有限時特別有用
記住這句
先借現成能力,再把新任務調到位。
比喻:遷移學習就像一個有經驗的廚師 -- 他學會了做菜的基礎和許多技巧,即使換到新的廚房或學做一道新菜,也能很快上手並做出好吃的料理。
容易混淆
遷移學習 vs 微調
遷移學習是整體策略
微調是常見做法之一
最關鍵的區別:大方向和具體手段
遷移學習 vs 多任務學習
遷移學習是先學 A 再用到 B
多任務學習是 A 和 B 一起學
最關鍵的區別:順序和並行
遷移學習 vs 從零訓練
遷移學習先借現成能力
從零訓練完全自己學
最關鍵的區別:有沒有預先學過
實際案例
醫療影像
用大規模通用影像預訓練模型,再拿少量 X 光資料調整,通常比從零開始更快收斂
客服分類
先用通用語言模型,再用公司自己的客服對話微調,能更快學會公司內部用語
演算法與應用
| 預訓練模型 | 先在大資料上學通用特徵 | 這是起點 |
| 微調 | 用新任務資料再訓練 | 把通用能力轉成專用能力 |
| 凍結層 | 保留部分參數不動 | 資料少時很常見 |
| 負遷移 | 舊知識反而干擾新任務 | 領域差太遠時要小心 |
中英對照與常見說法
- 說法
- 遷移學習
- 出現場合
- 台灣正式用語
- 說法
- 迁移学习
- 出現場合
- 簡體寫法
- 說法
- Transfer Learning
- 出現場合
- 英文原名
- 說法
- 轉移學習
- 出現場合
- 常見變體
跟微調、領域自適應的關係
遷移學習是最上位的概念:把在一個任務上學到的知識用到另一個任務。
微調(fine-tuning) 是遷移學習最常見的實作手段:拿預訓練模型,用目標任務的資料繼續訓練。
特徵萃取(feature extraction) 是另一種手段:凍結預訓練模型當成特徵抽取器,只訓練最後的分類頭。
領域自適應(domain adaptation) 是特例:任務相同但資料分布不同(同樣是辨識瑕疵,但換了一條產線的相機)。
該凍結多少層
判斷邏輯是:淺層學的是通用的邊緣與紋理,換任務也適用;深層學的是任務專屬的概念,換任務就要重學。 資料越少越要凍得多,因為可訓練參數越多越容易過度擬合。
微調時學習率要比原本訓練時小一個數量級以上,否則預訓練學到的東西會在前幾個批次就被破壞掉。常見做法是分層設定學習率,越接近輸出的層學習率越大。
- 情況
- 目標資料少,且跟原任務相似
- 建議
- 凍住大部分,只訓練最後幾層
- 情況
- 目標資料少,但跟原任務差很多
- 建議
- 凍住淺層(通用特徵),重訓中後段
- 情況
- 目標資料多,且跟原任務相似
- 建議
- 全部微調,用小學習率
- 情況
- 目標資料多,但跟原任務差很多
- 建議
- 可以全部微調,甚至考慮從頭訓練
什麼時候不該用
負遷移(negative transfer) 是指遷移之後表現比從頭訓練還差。它在來源任務與目標任務差異太大時會發生,例如拿自然影像預訓練的模型去做頻譜圖或醫學斷層掃描,有時反而不如從頭訓練。
判斷方式很直接:同時跑一次從頭訓練當對照組。多數人省略這一步,於是永遠不知道遷移到底有沒有幫助。
另一個要注意的是輸入前處理必須跟預訓練時一致。影像的正規化平均值與標準差、輸入尺寸、色彩通道順序,任何一項對不上,預訓練權重的價值就大打折扣。這是實務上最常見卻最容易被忽略的錯誤。
情境判斷
Q1(直覺題):你手上只有幾百張標註圖片,還適合從零訓練嗎?
通常不適合,遷移學習會更實際。
Q2(判斷題):原任務和新任務差很遠,遷移學習一定有幫助嗎?
不一定,差距太大時可能出現負遷移,這時要更仔細挑模型。
iPAS 考試出題分析
遷移學習 屬於 iPAS AI 應用規劃師評鑑範圍(中級),實際考試內容以官方公告為準。
常見一起複習的方向包含:遷移學習的演算法原理與效益、預訓練模型與微調策略的技術細節、遷移學習的應用場景與實務。
常見問題
不一定,有時只改最後幾層就夠。
不只,文字、語音、推薦系統都很常用。
多數情況值得先試,但還是要看原始任務和目標任務是否接近。
常見範例是拿在 ImageNet 等大型影像資料集預訓練的模型,換掉最後的分類層,再用幾百張自家產品照片訓練成瑕疵分類器。物件偵測也常這樣做,例如用 YOLO 的預訓練權重,再以自己標註的資料微調。文字任務則常從預訓練語言模型出發。
特點是不從零開始,而是沿用來源任務學到的權重或特徵,再針對目標任務調整。做法有兩種,一種是凍結預訓練模型,只訓練新的輸出層,另一種是連同部分或全部層一起微調。好處是需要的資料與運算較少,風險是來源與目標差太遠時可能出現負遷移。
範例考題
某 AI 科技公司在工業缺陷檢測領域已有成熟的辨識產品經驗。現欲與新客戶合作開發一項類似產品的表面瑕疵檢測系統,但因新產品量產不久,標註樣本極為稀少且專家標註成本高昂。在不大幅增加標註預算的前提下,利用該公司既有的技術優勢來提升模型表現?
- A增加模型參數規模,使模型具備更強表達能力
- B透過資料增強(Data Augmentation)擴展影像變化,以提升模型穩定性
- C重新蒐集大量影像並進行完整人工標註
- D採用遷移學習(Transfer Learning),利用既有預訓練模型進行調整
正解是 D:採用遷移學習(Transfer Learning),利用既有預訓練模型進行調整
解析:公司在工業缺陷檢測領域有成熟經驗,可利用既有的預訓練模型透過遷移學習(Transfer Learning)轉移到新產品的瑕疵檢測任務。這樣只需少量標註資料就能獲得良好效果,不需大幅增加標註預算。
出現在這些考古題
官方公告試題的逐題解析裡,有 16 題把遷移學習列為延伸術語,這裡列出 5 題。
立即測驗
想測試你對 遷移學習 的掌握程度?用考古題作答
相關術語
來源
參考來源:en.wikipedia.org
考試範圍:iPAS AI 應用規劃師評鑑內容範圍參考(115.02 更新),經濟部產業人才能力鑑定,實際考試內容以官方公告為準。
其他格式:Markdown 版本