完整定義
少樣本學習是一種機器學習方法,旨在僅使用少量標記樣本來訓練模型。它利用已有的知識或經驗,通過遷移學習或元學習等技術,快速適應新的任務。在 iPAS 中級考試中,少樣本學習是重要的考點,考察考生對於模型泛化能力和快速適應新環境的理解。少樣本學習能夠在資料稀缺的場景下發揮重要作用,例如新產品推薦或罕見疾病診斷。
白話說明
你有沒有遇過,資料只給你幾個例子,卻還希望模型能學會?
你可以把少樣本學習想成「看幾個範例就能抓到規則」的能力,資料不多也能先做出可用表現。
它重要,是因為很多真實問題根本湊不到大量標記資料,尤其是新領域、罕見事件或高成本標註任務。
記住這句
只看幾個例子,還能抓到規則,就是少樣本學習。
比喻:少樣本學習就像一個聰明的孩子 -- 你只需要給他看幾張貓咪的照片,他就能馬上認出各種以前沒見過的貓咪,不需要看成千上萬張才學會。
容易混淆
少樣本學習 vs 傳統監督式學習
傳統監督式學習通常需要大量標記資料。
少樣本學習要在資料很少時也能快速泛化。
少樣本學習 vs 微調
少樣本學習強調少量範例就能適應。
微調是把既有模型再訓練一段時間,兩者常一起用,但不是同一件事。
實際案例
罕見疾病分類
每種病只有少量影像,模型仍要能根據少數案例學到辨識方向。
新客服類型
新產品剛上線,標註對話不多,但系統仍要能先回答或分類常見意圖。
演算法與應用
常見方法會借助預訓練模型、相似度比對、度量學習或提示式學習。
這類方法常見於自然語言處理、影像辨識和罕見事件偵測。
iPAS 考題
Q:少樣本學習的核心特性是什麼?
在標記資料很少的情況下,仍能讓模型學會新的任務或類別。
Q:少樣本學習為什麼在實務上重要?
因為很多資料昂貴、罕見或很難標記,不能只靠大量資料才能上線。
零樣本、單樣本、少樣本怎麼分
這幾個詞在兩個不同脈絡下意思不太一樣,容易混淆。
傳統機器學習的少樣本學習,指的是用很少的標註樣本訓練出一個模型,代表方法有度量學習(孿生網路、原型網路)與元學習(MAML)。這裡的「學習」是真的更新參數。
大型語言模型的少樣本,指的是在提示裡放幾個範例,模型不更新任何參數就照著做。這叫上下文學習(in-context learning),嚴格說不是學習,而是模型從上下文推斷任務格式。
- 名稱
- 零樣本學習
- 英文
- zero-shot learning
- 給幾個例子
- 0 個,只給任務描述
- 名稱
- 單樣本學習
- 英文
- one-shot learning
- 給幾個例子
- 1 個
- 名稱
- 少樣本學習
- 英文
- few-shot learning
- 給幾個例子
- 通常 2 到 幾十個
- 名稱
- 多樣本
- 英文
- many-shot
- 給幾個例子
- 幾百到上千個,長上下文模型才做得到
給例子的實務要點
例子的格式比內容重要。 研究發現即使把範例的標籤打亂,效果下降有限;但把格式弄亂,效果會大幅下降。這說明範例主要在告訴模型「輸出要長什麼樣」,而不是在教它知識。
例子要涵蓋邊界情況。 只給典型案例,模型遇到邊界就自由發揮。特別要放一兩個「這種情況要回答不知道」的例子,否則模型傾向硬答。
例子的順序有影響。 尤其是分類任務,範例的類別順序會造成偏誤。多個類別時盡量交錯排列,不要同類集中。
不是越多越好。 加到某個數量之後效果就平了,繼續加只是增加成本與延遲。實務上先從 3 到 5 個試起,逐步加到效果不再提升為止。
需要的例子超過二十個,通常代表該考慮微調了。 提示裡塞大量範例,每次請求都要付這些 token 的錢,微調則是一次性成本。用量大的時候微調反而便宜。
情境判斷
Q1:如果你只有每類 5 張圖,還想訓練出可用模型,少樣本學習有機會嗎?
有機會,因為它就是在這種資料稀少的條件下發揮。
Q2:只要資料少,就一定要用少樣本學習嗎?
不一定,如果任務很單純,傳統方法或資料增強可能更划算。
常見問題
不等於,零樣本學習是完全沒看過標記例子,少樣本學習至少還有幾個。
不一定,但預訓練能力強的模型通常更有優勢。
很有關,尤其在大型語言模型裡,提示常是少樣本學習的重要方式。
不是,少樣本只是降低資料需求,不保證免除錯誤。
典型例子是製造業的瑕疵檢測,新產線的瑕疵樣本往往只有幾張,模型要靠少數範例認出新的瑕疵類型。其他例子包括罕見疾病影像判讀、新商品分類,以及在提示裡放幾個範例,讓大型語言模型照同樣格式回答。
常被引用的有 2017 年 Snell 等人的原型網路(Prototypical Networks),以每類少數樣本的平均向量當原型分類。大型語言模型方面,2020 年的 GPT-3 論文展示只在提示放少量範例就能完成任務。
範例考題
某市政府環保局想建立一個垃圾分類查詢系統,讓民眾輸入物品名稱後自動判斷分類。由於垃圾種類繁多,但每種分類的訓練範例有限,工程師決定採用少樣本學習(Few-shot Learning)技術。下列何者為少樣本學習(Few-shot Learning)的主要特徵?
- A需重新蒐集大規模標註資料,以確保模型具備穩定表現
- B透過少量任務示例,引導模型適應新情境或新分類需求
- C不需任何範例輸入,即可完成新任務推論
- D僅適用於自然語言處理任務,對其他模態效果有限
正解是 B:透過少量任務示例,引導模型適應新情境或新分類需求
解析:Few-shot Learning 的核心特徵是透過少量示例引導模型適應新的情境或分類需求,無需大規模標註資料,適合訓練範例有限的場景。
出現在這些考古題
官方公告試題的逐題解析裡,有 8 題把少樣本學習列為延伸術語,這裡列出 5 題。
立即測驗
想測試你對 少樣本學習 的掌握程度?用考古題作答
相關術語
- 微調Fine-tuning少樣本常會和它搭配,用少量資料把模型拉到目標任務。
- 大型語言模型Large Language Model現代少樣本學習常靠它打底。
- 提示工程Prompt Engineering很多少樣本設定其實就是在設計提示。
- 自然語言處理Natural Language Processing少樣本方法最常被談到的應用之一。
- 轉換器架構Transformer很多少樣本能力都建立在它上面。
- 遷移學習Transfer Learning
- 零樣本學習Zero-shot Learning
- 機器學習Machine Learning
- 單樣本學習One-shot Learning
- 元學習Meta-learning
- 上下文學習In-context Learning
本頁內容有提到,或屬於同一組主題的術語
來源
參考來源:en.wikipedia.org
考試範圍:iPAS AI 應用規劃師評鑑內容範圍參考(115.02 更新),經濟部產業人才能力鑑定,實際考試內容以官方公告為準。
其他格式:Markdown 版本