規模定律(Scaling Law)是什麼?

規模定律描述了模型性能如何隨著模型大小、訓練數據量和計算資源的增加而變化。它提供了一種預測模型性能的經驗關係。|本頁含完整原理、應用場景、iPAS 考試重點與 3 個常見問答。

英文
Scaling Law
主題標籤
機器學習、深度學習、模型訓練
考點定位
非 iPAS 核心術語
最後更新
2026/06/17
規模定律(Scaling Law)是什麼? 機器學習深度學習
術語快查

搜尋意圖: 如果你在找「規模定律 是什麼」或「規模定律 和相近概念差在哪」,先看這頁的短定義、完整說明與延伸比較。

TL;DR: 規模定律描述了模型性能如何隨著模型大小、訓練數據量和計算資源的增加而變化。它提供了一種預測模型性能的經驗關係。

實用情境: 適合用在閱讀 AI 文章、產品文件或和同事討論時,先用一頁快速對齊概念。

下一步: 先讀完定義,再往下看延伸比較與對應工具,把概念轉成實際應用。

你有沒有注意到,模型和資料越堆越大,表現通常也跟著變好?

你可以把規模定律想成一條經驗曲線,告訴你模型、資料和算力加大時,效果大概怎麼變。

它重要是因為團隊可以拿它來估算投入資源後的回報,而不是只靠感覺做決策。

你可以把它想成一個把抽象概念拉回日常判斷的提示,先知道它解決什麼問題,再看技術細節。

容易混淆

規模定律 vs 邊際效益遞減

規模定律是在描述整體趨勢 邊際效益遞減是在說越往後每次加碼回報變小 最關鍵的區別是經驗關係和經濟直覺。

規模定律 vs 湧現能力

規模定律看的是連續變化 湧現能力看的是某些能力突然出現 最關鍵的區別是平滑成長還是跨門檻跳變。

記住這句就好

模型、資料、算力一起長大,效果通常也跟著變。

實際案例

訓練預算規劃 團隊可以先用小實驗去擬合規模定律,再決定要不要把算力投到更大的模型。

資料量決策 如果模型已經快被算力卡住,就不一定只加參數,還要一起看資料和訓練方式。

算法與應用

規模定律通常不是嚴格定律,而是大量實驗下的經驗觀察。 它幫助人們在模型大小、資料量和算力之間找平衡。 資料品質、架構和訓練方法一變,曲線也可能跟著變。

情境判斷

Q1(直覺題): 如果你想估算把模型做大一倍後會發生什麼,會先想到什麼概念?

很常會想到規模定律。

Q2(判斷題): 只要照著規模定律擴大模型,就一定會有穩定提升嗎?

不一定。它只是經驗趨勢,資料品質和訓練策略一變,結果也會變。

常見問題

規模定律的局限性是什麼?

A:它不是普遍真理,只是在某些模型和任務上很有用的經驗關係。

如何用規模定律來優化訓練?

A:常見做法是用小規模結果擬合趨勢,再反推資源怎麼分配。

規模定律對 AI 發展有什麼意義?

A:它讓人能更有系統地規劃模型、資料和算力,而不是只靠猜。