完整定義
上下文學習 (In-context Learning) 是一種讓大型語言模型 (LLM) 在沒有明確梯度更新或微調的情況下,僅通過在輸入提示中提供範例來執行新任務的技術。模型根據提示中的上下文信息,學習如何完成任務。
白話說明
你有沒有只給 AI 幾個例子,它就突然知道怎麼做新任務?
你可以把上下文學習想成模型在提示裡現場學規則。
它不用先改權重,只靠你放進去的範例和說明,就能臨時適應新任務。
記住這句
不改權重,直接看範例學。
比喻:上下文學習就像你教小朋友玩新遊戲,不是從頭解釋規則,而是直接示範幾次,小朋友看著看著就會了 -- 模型就是看著你給的範例,就知道怎麼完成任務。
容易混淆
上下文學習 vs 微調
上下文學習不改模型權重
微調會用新資料更新權重
最關鍵的區別是現場學,還是重新訓練一部分模型
上下文學習 vs 少樣本學習
少樣本學習是更大的概念
上下文學習是大型語言模型常見的做法之一
最關鍵的區別是整體目標,還是具體機制
實際案例
格式轉換
你只要在提示裡給幾個輸入輸出對,模型就能照著把資料改成你要的格式。
臨時分類
今天要把留言分成正向、負向和中立,明天換標準時,只要改提示範例就能重做。
深入了解
上下文學習很吃提示品質和範例選擇,範例越貼近任務,效果通常越好。
它也受上下文窗口限制,所以能放進去的示例數量不是無限的。
情境判斷
Q1: 你不想重新訓練模型,只想臨時教它新格式,會先想到什麼?
上下文學習。
Q2: 任務很固定、長期都要同一種輸出,還只靠提示範例嗎?
看情況,這時微調可能更穩定。
常見問題
不用改模型就能快速適應新任務。
對提示很敏感,而且受上下文長度限制。
選對範例、把任務說清楚、讓輸出格式固定。
出現在這些考古題
官方公告試題的逐題解析裡,這 2 題把上下文學習列為延伸術語。
相關術語
來源
這個術語目前沒有標註外部來源。
其他格式:Markdown 版本