在保持 GPT-OSS 模型架構不變的前提下,如果將模型參數量從 20 億提升至 120 億,並假設有足夠的訓練資料支撐,下列敘述何者最正確?

iPAS 考題解析

在保持 GPT-OSS 模型架構不變的前提下,如果將模型參數量從 20 億提升至 120 億,並假設有足夠的訓練資料支撐,下列敘述何者最正確?

  • A. 模型參數增加會線性提升效能,且即使訓練資料不變也不會遇到瓶頸;
  • B. 參數越多模型推理越快,因為每層可以並行計算更多參數;
  • C. 較大的參數量能提升模型的表達能力與預測效能,但需足夠訓練資料支持; ✓ 正確答案
  • D. 增加參數量不影響記憶體使用,只會影響計算速度

詳細解析

根據 Scaling Law,增加模型參數量能提升模型的表達能力和預測效能,但需要有足夠的訓練資料來支撐。如果資料不足,增加參數反而可能導致過擬合。同時,更多參數也會增加記憶體使用和計算成本。

出題年份:114 難度:★★☆