在大型 Transformer 模型的效能優化過程中，常見的方法之一是「剪枝（Pruning）」。下列哪一項最符合該方法的核心概念？

iPAS 考題解析

在大型 Transformer 模型的效能優化過程中，常見的方法之一是「剪枝（Pruning）」。下列哪一項最符合該方法的核心概念？

  • A. 將模型中所有權重按比例縮小，使其值更接近零，以降低計算量；
  • B. 移除模型中影響較小或冗餘的部分權重參數，以減少模型大小並提升推理效率； ✓ 正確答案
  • C. 在訓練時僅更新部分權重而將其他權重凍結，從而減少需要調整的參數數量；
  • D. 根據注意力分數動態跳過處理部分輸入 Token，以減少每次前向傳播的計算

詳細解析

剪枝（Pruning）的核心概念是識別並移除模型中對輸出影響最小的權重或神經元，從而減少模型大小和計算量，同時盡量保持模型效能。這是模型壓縮的重要技術之一。

出題年份：114 難度：★★☆