AITerms 登入
機器學習深度學習大型語言模型

湧現能力(Emergent Abilities)是什麼?

湧現能力是指大型語言模型在達到一定規模後,突然展現出在較小模型中未曾觀察到的複雜能力,例如推理、翻譯和程式碼生成。

完整定義

湧現能力是指大型語言模型在模型規模達到一定閾值後,突然展現出在較小模型中未曾觀察到的複雜能力。這些能力並非通過顯式編程或訓練獲得,而是隨著模型規模的擴大,模型內部複雜的交互作用自發產生的。湧現能力是大型語言模型的一個重要特性,也是其能夠執行複雜任務的基礎。

白話說明

你有沒有看過模型小時候只會補字,長大後卻突然會推理、翻譯、寫程式?

你可以把湧現能力想成,模型的本事不是慢慢一點點長出來,而是在規模變大後跨過門檻才冒出來。

它其實就是大型模型在參數、資料或算力增加到一定程度後,出現以前小模型看不到的新能力,例如推理、摘要、程式碼生成。

記住這句

模型不是只會更強,有時會突然多出新本事。

比喻:湧現能力 就像把足夠多的水分子聚集在一起,突然就結成了冰塊一樣 -- 單個水分子沒有「硬度」,但數量夠多時,新的特性就冒出來了。

容易混淆

湧現能力 vs 規模定律

規模定律是在描述「規模變大,整體表現怎麼變」的規律,湧現能力是在說某些能力會不會突然出現。

湧現能力 vs 泛化能力

泛化能力是在新資料上能不能維持表現,湧現能力是在某個臨界點後,模型多出以前沒有的技能。

湧現能力 vs 上下文學習

上下文學習是模型看幾個例子就能跟著做,湧現能力則是模型規模變大後,整體行為層級變了。

最關鍵的區別: 規模定律看整體趨勢,湧現能力看臨界點前後的質變。

實際案例

案例一:文件助理突然會整理重點

小模型只能照字面重述,大模型在規模拉高後,會開始自己抓主旨、分類段落、整理待辦事項,這種「原本不太會,後來突然會」很像湧現。

案例二:程式碼助手突然能補完整段函式

原本只會接下一個字元的模型,升到更大規模後,開始能看懂函式脈絡,補出可執行的程式片段,這也是常見的湧現表現。

深入了解

湧現能力不一定代表模型真的「想通了」,有些時候只是評估指標在臨界點前後把連續進步切成了看起來像跳躍的結果。

真正值得注意的是,當模型規模、資料品質、訓練方式一起推上去時,某些能力會從不穩定變成可用,這對產品功能設計很重要。

你如果在看模型能力時,只盯著平均分數,常常會漏掉這種質變。

情境判斷

Q1(直覺題): 你把模型從 1B 參數換成 10B 參數後,翻譯品質一路穩定變好,這比較像湧現能力嗎?

不一定,這比較像規模變大帶來的穩定提升,只有在某個門檻後突然出現原本沒有的能力時,才比較像湧現。

Q2(判斷題): 你發現模型在某個測驗集上分數突然暴增,但換另一個測驗集又沒有同樣跳躍,該怎麼看?

先懷疑評估方式和資料切分,因為有些「湧現」其實是指標設計造成的假跳躍,只有在多個任務和多種評估下都出現,才比較可信。

常見問題

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本