iPAS 考題解析在保持 GPT-OSS 模型架構不變的前提下,如果將模型參數量從 20 億提升至 120 億,並假設有足夠的訓練資料支撐,下列敘述何者最正確?
你的作答
在題目頁作答不會存進學習紀錄,想留下紀錄可以到題庫練習。
解析
正確答案:C. 較大的參數量能提升模型的表達能力與預測效能,但需足夠訓練資料支持;
根據 Scaling Law,增加模型參數量能提升模型的表達能力和預測效能,但需要有足夠的訓練資料來支撐。如果資料不足,增加參數反而可能導致過擬合。同時,更多參數也會增加記憶體使用和計算成本。
每個選項為什麼對或錯
-
A 模型參數增加會線性提升效能,且即使訓練資料不變也不會遇到瓶頸; 錯誤選項
效能提升並非線性,且訓練資料不足時會遇到瓶頸(過擬合),此描述不正確。
-
B 參數越多模型推理越快,因為每層可以並行計算更多參數; 錯誤選項
參數越多推理速度通常越慢,因為需要更多計算量,並非更快。
-
C 較大的參數量能提升模型的表達能力與預測效能,但需足夠訓練資料支持; 正解
更大的參數量能提升表達能力,但需要足夠的訓練資料支持,否則會過擬合。
-
D 增加參數量不影響記憶體使用,只會影響計算速度 錯誤選項
增加參數量會顯著增加記憶體使用量,因為需要儲存更多的權重參數。
答案、題目或解析有問題?回報這題