XGBoost(eXtreme Gradient Boosting)相比傳統 Gradient Boosting 的主要改進為何?

iPAS 考題解析

XGBoost(eXtreme Gradient Boosting)相比傳統 Gradient Boosting 的主要改進為何?

  • A. 加入正則化項控制模型複雜度,並支援並行計算,顯著提升訓練效率 ✓ 正確答案
  • B. 使用隨機抽樣特徵方式,類似隨機森林的 Bagging 方法
  • C. 採用深度更深的決策樹以捕捉更複雜的特徵關係
  • D. 使用神經網路替代決策樹作為基學習器

詳細解析

XGBoost 在目標函數中加入 L1/L2 正則化項(控制樹的葉節點數和權重),防止過擬合;並透過特徵預排序和列塊結構支援並行計算,大幅提升訓練速度。這是 XGBoost 在 Kaggle 競賽中取得廣泛應用的主要原因。

出題年份:114 難度:★★☆