AITerms 登入
機器學習深度學習模型訓練

規模定律(Scaling Law)是什麼?

規模定律描述了模型性能如何隨著模型大小、訓練數據量和計算資源的增加而變化。它提供了一種預測模型性能的經驗關係。

完整定義

規模定律描述了大型機器學習模型(尤其是大型語言模型)的性能如何隨著模型參數數量、訓練數據集大小和訓練計算量的增加而變化。這些定律通常以冪律形式表達,表明性能的提升與規模的增加之間存在可預測的關係。

白話說明

你有沒有注意到,模型和資料越堆越大,表現通常也跟著變好?

你可以把規模定律想成一條經驗曲線,告訴你模型、資料和算力加大時,效果大概怎麼變。

它重要是因為團隊可以拿它來估算投入資源後的回報,而不是只靠感覺做決策。

記住這句

模型、資料、算力一起長大,效果通常也跟著變。

比喻:規模定律就像一個食譜,告訴你投入更多食材(數據)、用更大的鍋子(模型),做出來的菜(性能)就會更好,而且還有個大致的比例關係。

容易混淆

規模定律 vs 邊際效益遞減

規模定律是在描述整體趨勢

邊際效益遞減是在說越往後每次加碼回報變小

最關鍵的區別是經驗關係和經濟直覺。

規模定律 vs 湧現能力

規模定律看的是連續變化

湧現能力看的是某些能力突然出現

最關鍵的區別是平滑成長還是跨門檻跳變。

實際案例

訓練預算規劃

團隊可以先用小實驗去擬合規模定律,再決定要不要把算力投到更大的模型。

資料量決策

如果模型已經快被算力卡住,就不一定只加參數,還要一起看資料和訓練方式。

演算法與應用

規模定律通常不是嚴格定律,而是大量實驗下的經驗觀察。

它幫助人們在模型大小、資料量和算力之間找平衡。

資料品質、架構和訓練方法一變,曲線也可能跟著變。

情境判斷

Q1(直覺題):如果你想估算把模型做大一倍後會發生什麼,會先想到什麼概念?

很常會想到規模定律。

Q2(判斷題):只要照著規模定律擴大模型,就一定會有穩定提升嗎?

不一定。它只是經驗趨勢,資料品質和訓練策略一變,結果也會變。

常見問題

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本