規模定律 是什麼？
Scaling Law — 規模定律 的完整解釋
規模定律描述了模型性能如何隨著模型大小、訓練數據量和計算資源的增加而變化。它提供了一種預測模型性能的經驗關係。
容易混淆
規模定律 vs 邊際效益遞減
規模定律是在描述整體趨勢 邊際效益遞減是在說越往後每次加碼回報變小 最關鍵的區別是經驗關係和經濟直覺。
規模定律 vs 湧現能力
規模定律看的是連續變化 湧現能力看的是某些能力突然出現 最關鍵的區別是平滑成長還是跨門檻跳變。
記住這句就好
模型、資料、算力一起長大，效果通常也跟著變。
實際案例
訓練預算規劃 團隊可以先用小實驗去擬合規模定律，再決定要不要把算力投到更大的模型。
資料量決策 如果模型已經快被算力卡住，就不一定只加參數，還要一起看資料和訓練方式。
算法與應用
規模定律通常不是嚴格定律，而是大量實驗下的經驗觀察。 它幫助人們在模型大小、資料量和算力之間找平衡。 資料品質、架構和訓練方法一變，曲線也可能跟著變。
情境判斷
Q1（直覺題）：如果你想估算把模型做大一倍後會發生什麼，會先想到什麼概念？
→ 很常會想到規模定律。
Q2（判斷題）：只要照著規模定律擴大模型，就一定會有穩定提升嗎？
→ 不一定。它只是經驗趨勢，資料品質和訓練策略一變，結果也會變。
相關術語
常見問題
規模定律的局限性是什麼？
A：它不是普遍真理，只是在某些模型和任務上很有用的經驗關係。
如何用規模定律來優化訓練？
A：常見做法是用小規模結果擬合趨勢，再反推資源怎麼分配。
規模定律對 AI 發展有什麼意義？
A：它讓人能更有系統地規劃模型、資料和算力，而不是只靠猜。