上下文學習理論 是什麼？
In-context Learning Theory — 上下文學習理論 的完整解釋
上下文學習理論指大型語言模型無需額外訓練，僅憑藉輸入提示中的範例，即可執行新任務的能力，展現了模型泛化的潛力。
容易混淆
理論 vs 實作 實作關心怎麼把任務做好 理論關心為什麼會有效 最關鍵的區別是做法，還是解釋
上下文學習理論 vs 微調 上下文學習理論在解釋提示中的現場學習 微調是在解釋權重更新後的學習 最關鍵的區別是提示內學習，還是參數內學習
記住這句就好
解釋為什麼模型看幾例就會做。
實際案例
研究模型泛化 研究者會拿不同提示排列、不同範例數量來觀察模型是否真的在做上下文學習。
比較不同模型 同樣的提示，有些模型效果好、有些不穩，理論研究可以幫忙解釋差在哪。
深入了解
常見解釋會牽涉到 transformer 結構、meta-learning 或近似演算法視角。 這一塊還在發展中，所以很多問題還沒有單一公認答案。
情境判斷
Q1： 你看到提示順序一換，模型表現就變了，這在理論上代表什麼？ → 代表上下文學習對範例排列和提示形式很敏感。
Q2： 你想知道它和微調哪個更重要，理論會直接給標準答案嗎？ → 不會，因為兩者解決的問題不同，取捨要看場景。
相關術語
常見問題
它和上下文學習本身有什麼差？
上下文學習是現象，理論是解釋這個現象的模型。
為什麼值得研究？
因為它關係到大型語言模型到底怎麼泛化。
現在有定論嗎？
還沒有，這是仍在演進的研究議題。