iPAS 考題解析在大型 Transformer 模型的效能優化過程中,常見的方法之一是「剪枝(Pruning)」。下列哪一項最符合該方法的核心概念?
你的作答
在題目頁作答不會存進學習紀錄,想留下紀錄可以到題庫練習。
解析
正確答案:B. 移除模型中影響較小或冗餘的部分權重參數,以減少模型大小並提升推理效率;
剪枝(Pruning)的核心概念是識別並移除模型中對輸出影響最小的權重或神經元,從而減少模型大小和計算量,同時盡量保持模型效能。這是模型壓縮的重要技術之一。
每個選項為什麼對或錯
-
A 將模型中所有權重按比例縮小,使其值更接近零,以降低計算量; 錯誤選項
按比例縮小所有權重是量化(Quantization)或權重衰減的概念,不是剪枝。
-
B 移除模型中影響較小或冗餘的部分權重參數,以減少模型大小並提升推理效率; 正解
移除影響較小的權重參數以減少模型大小和提升效率,正是剪枝的核心概念。
-
C 在訓練時僅更新部分權重而將其他權重凍結,從而減少需要調整的參數數量; 錯誤選項
凍結部分權重僅更新其他權重是微調策略(如 LoRA),不是剪枝。
-
D 根據注意力分數動態跳過處理部分輸入 Token,以減少每次前向傳播的計算 錯誤選項
動態跳過部分 Token 是稀疏注意力或提前退出機制的概念,不是剪枝。
答案、題目或解析有問題?回報這題