在大型Transformer模型的效能優化過程中，常見的方法之一是「剪枝（Pruning）」。下列哪一項最符合該方法的核心概念？

iPAS 考題解析

在大型Transformer模型的效能優化過程中，常見的方法之一是「剪枝（Pruning）」。下列哪一項最符合該方法的核心概念？

  • A. 將模型中所有權重按比例縮小，使其值更接近零，以降低計算量；
  • B. 移除模型中影響較小或冗餘的部分權重參數，以減少模型大小並提升推理效率； ✓ 正確答案
  • C. 在訓練時僅更新部分權重而將其他權重凍結，從而減少需要調整的參數數量；
  • D. 根據注意力分數動態跳過處理部分輸入Token，以減少每次前向傳播的計算

詳細解析

剪枝（Pruning）是移除模型中影響較小或冗餘的權重參數，減少模型大小並提升推理效率（Inference Efficiency）。

難度：★★★