AITerms 登入
機器學習深度學習模型訓練

元學習(Meta-learning)是什麼?

元學習,又稱學習如何學習,旨在訓練模型能夠快速適應新任務或環境,透過少量樣本即可達到良好的效能。

完整定義

元學習 (Meta-learning),又稱「學習如何學習」(Learning to Learn),是一種機器學習方法,旨在訓練模型能夠快速適應新的任務或環境。與傳統的機器學習方法不同,元學習不僅學習如何執行單一任務,更學習如何學習,從而能夠在面對新的任務時,僅需少量樣本即可達到良好的效能。

白話說明

你有沒有想過,模型能不能學會「怎麼學」?

你可以把元學習想成,讓模型先在很多任務上練習,再把這種學習能力帶到新任務。

它重要在於,當新任務資料很少時,模型不必從零開始摸索。

記住這句

先學會怎麼適應新任務,再去面對新題目。

比喻:元學習就像一個學霸 -- 他不是只會解一道題,而是學會了「如何學習」,所以無論遇到什麼新題型,他都能快速掌握解題方法,用很少的練習就能取得好成績。

容易混淆

元學習 vs 遷移學習

元學習:學的是快速適應新任務的能力。

遷移學習:把舊任務學到的知識搬到新任務。

最關鍵的區別:前者學「學習方法」,後者搬「既有知識」。

元學習 vs 少樣本學習

元學習:是一種訓練策略。

少樣本學習:是一種低資料場景。

最關鍵的區別:前者是方法,後者是情境。

實際案例

新產品文案分類

公司每次上新品牌都只給少量標註,元學習可以先從很多舊品牌任務中練出快速適應能力。

個人化醫療

不同病人資料很少且差異大時,模型先學到跨任務的適應方式,比每次都從頭訓練更有效。

演算法與應用

常見形式有模型式、度量式和優化式元學習。

訓練時會刻意把很多小任務當作訓練單位,讓模型在任務間反覆練習。

它和 few-shot learning、fine-tuning 常常一起出現。

中英對照與常見說法

要注意「元學習」在教育心理學裡另有一個意思(指學習者對自己學習過程的覺察),跟機器學習的元學習是不同領域的同名詞。

說法
元學習
出現場合
台灣與中國大陸通用的正式譯名
說法
元学习
出現場合
簡體寫法,簡體資料裡的標準用語
說法
Meta-Learning
出現場合
英文原名
說法
Learning to Learn(學會學習)
出現場合
早期論文常用的說法,意思相同
說法
後設學習
出現場合
台灣少數教育領域文獻的譯法

一般學習與元學習差在哪

一句話的區別:一般學習問「這張圖是不是貓」,元學習問「怎麼樣才能只看三張圖就學會認一種新動物」。

訓練單位
一般機器學習
一筆一筆資料
元學習
一個一個任務
學到的東西
一般機器學習
這個任務的參數
元學習
快速適應新任務的能力
面對新任務
一般機器學習
從頭訓練
元學習
用少量樣本微調幾步就上手
常見場景
一般機器學習
資料充足
元學習
每個任務只有幾筆標註

三大流派

基於最佳化(optimization-based):代表是 MAML(Model-Agnostic Meta-Learning)。它學的是一組初始參數,這組參數的特性是「往任何新任務走幾步梯度就能表現不錯」。優點是跟模型架構無關,缺點是要算二階梯度,計算量大。

基於度量(metric-based):代表是原型網路(Prototypical Networks)與孿生網路(Siamese Networks)。它學的是一個嵌入空間,在這個空間裡同類的東西靠得近。新任務來的時候不用訓練,直接算距離就分類。優點是快,缺點是只適合分類這類能用距離表達的任務。

基於模型(model-based):用帶記憶的網路結構(例如記憶增強神經網路)把過去看過的樣本存起來,靠讀取記憶快速適應。彈性最大,但也最難訓練穩定。

大型語言模型的上下文學習(in-context learning)常被視為第三類的一種自然浮現形式:把幾個範例放進提示,模型不更新參數就能做新任務,行為上接近元學習的目標。

情境判斷

Q1(情境題): 如果新任務資料很多,元學習還值得做嗎?

可能沒那麼必要。資料充足時,直接訓練或微調常常更簡單。

Q2(情境題): 如果每個新任務都很像,只是資料很少,元學習有幫助嗎?

很有幫助。因為它就是為了讓模型在相似任務之間快速適應。

常見問題

出現在這些考古題

官方公告試題的逐題解析裡,這 1 題把元學習列為延伸術語。

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本