AITerms 登入
iPAS 中級 機器學習遷移學習模型訓練

遷移學習(Transfer Learning)是什麼?

遷移學習是將已在大數據集習得的知識,轉移應用至小數據集的新任務,藉此加速模型訓練

完整定義

遷移學習是一種機器學習方法,用於將在一個任務上學習到的知識應用於另一個相關的任務。它能夠利用已訓練模型的知識,加速新任務的模型訓練,並提升模型在新任務上的效能,尤其是在目標任務資料量較少的情況下。在 iPAS 考試中,遷移學習是重要的概念,需要理解其原理、應用場景以及優缺點。

白話說明

你有沒有發現,會一種樂器的人,學第二種通常更快?

你可以把遷移學習想成「把已經學會的能力搬去新任務用」

模型不用從零開始,而是先借用舊任務學到的特徵,再針對新資料微調

這在資料少、算力有限時特別有用

記住這句

先借現成能力,再把新任務調到位。

比喻:遷移學習就像一個有經驗的廚師 -- 他學會了做菜的基礎和許多技巧,即使換到新的廚房或學做一道新菜,也能很快上手並做出好吃的料理。

容易混淆

遷移學習 vs 微調

遷移學習是整體策略

微調是常見做法之一

最關鍵的區別:大方向和具體手段

遷移學習 vs 多任務學習

遷移學習是先學 A 再用到 B

多任務學習是 A 和 B 一起學

最關鍵的區別:順序和並行

遷移學習 vs 從零訓練

遷移學習先借現成能力

從零訓練完全自己學

最關鍵的區別:有沒有預先學過

實際案例

醫療影像

用大規模通用影像預訓練模型,再拿少量 X 光資料調整,通常比從零開始更快收斂

客服分類

先用通用語言模型,再用公司自己的客服對話微調,能更快學會公司內部用語

演算法與應用

預訓練模型先在大資料上學通用特徵這是起點
微調用新任務資料再訓練把通用能力轉成專用能力
凍結層保留部分參數不動資料少時很常見
負遷移舊知識反而干擾新任務領域差太遠時要小心

中英對照與常見說法

說法
遷移學習
出現場合
台灣正式用語
說法
迁移学习
出現場合
簡體寫法
說法
Transfer Learning
出現場合
英文原名
說法
轉移學習
出現場合
常見變體

跟微調、領域自適應的關係

遷移學習是最上位的概念:把在一個任務上學到的知識用到另一個任務。

微調(fine-tuning) 是遷移學習最常見的實作手段:拿預訓練模型,用目標任務的資料繼續訓練。

特徵萃取(feature extraction) 是另一種手段:凍結預訓練模型當成特徵抽取器,只訓練最後的分類頭。

領域自適應(domain adaptation) 是特例:任務相同但資料分布不同(同樣是辨識瑕疵,但換了一條產線的相機)。

該凍結多少層

判斷邏輯是:淺層學的是通用的邊緣與紋理,換任務也適用;深層學的是任務專屬的概念,換任務就要重學。 資料越少越要凍得多,因為可訓練參數越多越容易過度擬合。

微調時學習率要比原本訓練時小一個數量級以上,否則預訓練學到的東西會在前幾個批次就被破壞掉。常見做法是分層設定學習率,越接近輸出的層學習率越大。

情況
目標資料少,且跟原任務相似
建議
凍住大部分,只訓練最後幾層
情況
目標資料少,但跟原任務差很多
建議
凍住淺層(通用特徵),重訓中後段
情況
目標資料多,且跟原任務相似
建議
全部微調,用小學習率
情況
目標資料多,但跟原任務差很多
建議
可以全部微調,甚至考慮從頭訓練

什麼時候不該用

負遷移(negative transfer) 是指遷移之後表現比從頭訓練還差。它在來源任務與目標任務差異太大時會發生,例如拿自然影像預訓練的模型去做頻譜圖或醫學斷層掃描,有時反而不如從頭訓練。

判斷方式很直接:同時跑一次從頭訓練當對照組。多數人省略這一步,於是永遠不知道遷移到底有沒有幫助。

另一個要注意的是輸入前處理必須跟預訓練時一致。影像的正規化平均值與標準差、輸入尺寸、色彩通道順序,任何一項對不上,預訓練權重的價值就大打折扣。這是實務上最常見卻最容易被忽略的錯誤。

情境判斷

Q1(直覺題):你手上只有幾百張標註圖片,還適合從零訓練嗎?

通常不適合,遷移學習會更實際。

Q2(判斷題):原任務和新任務差很遠,遷移學習一定有幫助嗎?

不一定,差距太大時可能出現負遷移,這時要更仔細挑模型。

iPAS 考試出題分析

遷移學習 屬於 iPAS AI 應用規劃師評鑑範圍(中級),實際考試內容以官方公告為準。

常見一起複習的方向包含:遷移學習的演算法原理與效益、預訓練模型與微調策略的技術細節、遷移學習的應用場景與實務。

常見問題

範例考題

某 AI 科技公司在工業缺陷檢測領域已有成熟的辨識產品經驗。現欲與新客戶合作開發一項類似產品的表面瑕疵檢測系統,但因新產品量產不久,標註樣本極為稀少且專家標註成本高昂。在不大幅增加標註預算的前提下,利用該公司既有的技術優勢來提升模型表現?

  1. A增加模型參數規模,使模型具備更強表達能力
  2. B透過資料增強(Data Augmentation)擴展影像變化,以提升模型穩定性
  3. C重新蒐集大量影像並進行完整人工標註
  4. D採用遷移學習(Transfer Learning),利用既有預訓練模型進行調整
到題目頁作答

出現在這些考古題

官方公告試題的逐題解析裡,有 16 題把遷移學習列為延伸術語,這裡列出 5 題。

立即測驗

想測試你對 遷移學習 的掌握程度?用考古題作答

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

參考來源:en.wikipedia.org

考試範圍:iPAS AI 應用規劃師評鑑內容範圍參考(115.02 更新),經濟部產業人才能力鑑定,實際考試內容以官方公告為準。

其他格式:Markdown 版本