完整定義
Boosting 是一種集成學習方法,旨在通過迭代的方式,將多個弱學習器組合成一個強學習器。每個弱學習器都試圖糾正前一個學習器的錯誤,從而逐步提高模型的準確性。Boosting 算法通常採用加權的方式來組合弱學習器的預測結果,權重的大小取決於每個弱學習器的性能。
白話說明
你想把一群弱模型接力變成一個強模型時,你會怎麼判斷它真正的作用?
你可以把它想成 Boosting 是一種集成學習技術,透過迭代訓練一系列弱學習器,每個學習器都試圖糾正前一個學習器的錯誤,最終將它們組合起來形成一個強學習器。
在 你想把一群弱模型接力變成一個強模型時 這種情境裡,這個概念會直接影響你怎麼設計、怎麼評估、怎麼上線。
比喻
Boosting 就像一組團隊合作的偵探 -- 第一個偵探先找出一些線索,但會犯錯;第二個偵探會特別關注第一個偵探犯錯的地方,努力修正,然後第三個偵探再修正第二個的錯誤,這樣一個接一個,每個偵探都彌補前一個的不足,最後所有偵探的意見加起來,就能做出最精準的判斷。
容易混淆
Boosting vs Bagging
Boosting 是一輪補一輪的錯誤,Bagging 是多個模型平行投票。
Boosting vs Random Forest
Random Forest 偏 Bagging 路線,Boosting 偏逐步修正路線。
Boosting vs Stacking
Stacking 是再用一個模型整合多個模型,Boosting 則是序列式地把弱模型疊起來。
實際案例
案例 1:表格資料預測
信用風險、流失預測、廣告轉換這類表格任務,Boosting 常常很強。
案例 2:錯誤修正
前一輪老是漏掉的樣本,下一輪會被更重視。
演算法與應用
- 面向
- 核心
- 重點
- 每一輪都盯著前一輪的錯誤,慢慢把模型推強。
- 面向
- 優點
- 重點
- 通常能把偏差壓低,表格資料表現常很好。
- 面向
- 注意
- 重點
- 資料太吵時,Boosting 也可能把噪聲一起學進去。
Boosting 與 Bagging 的根本差別
一句話的區別:bagging 是「大家各自判斷再投票」,boosting 是「一個接一個補前面沒做好的地方」。
因為 boosting 是序列的,它沒辦法像 bagging 那樣直接平行訓練。XGBoost 與 LightGBM 的速度優勢來自把單棵樹的建構過程平行化,不是把整串樹平行化。
- 項目
- 訓練方式
- Bagging
- 各個模型獨立訓練,可平行
- Boosting
- 一個接一個,後面修前面的錯
- 項目
- 每個模型看的資料
- Bagging
- 隨機抽樣(bootstrap)
- Boosting
- 全部資料,但錯的樣本權重加重
- 項目
- 主要在減少
- Bagging
- 變異數(variance)
- Boosting
- 偏差(bias)
- 項目
- 適合的基模型
- Bagging
- 較深、容易過擬合的樹
- Boosting
- 很淺的樹(常見深度 3 到 6)
- 項目
- 對雜訊
- Bagging
- 較穩健
- Boosting
- 較敏感,容易把雜訊也學進去
- 項目
- 代表
- Bagging
- 隨機森林
- Boosting
- AdaBoost、GBDT、XGBoost、LightGBM
三代 boosting 的演進
AdaBoost(自適應提升)
最早的實用版本。做法是給每個訓練樣本一個權重,每訓練完一個弱分類器,就把它答錯的樣本權重調高,下一個分類器因此會更注意那些難題。最後把所有分類器加權投票。
梯度提升(Gradient Boosting,GBDT)
換一個角度看同一件事:不調樣本權重,而是讓每一棵新樹去擬合「目前為止的預測與真實值之間的殘差」,也就是沿著損失函數的梯度方向走。這個框架的好處是可以換任何可微的損失函數,回歸、分類、排序都能做。
XGBoost 與 LightGBM
都是梯度提升的工程化版本。XGBoost 在目標函數裡加進正則化項,並用二階導數資訊決定分裂點。LightGBM 改用逐葉(leaf-wise)生長與直方圖式分裂,在大資料上更快。
選型建議:結構化表格資料上,梯度提升這一路長年是最強的預設選擇,通常比神經網路更快也更準。資料量不大先用 XGBoost,資料量很大或欄位很多再考慮 LightGBM。
情境判斷
Q1(判斷題): 如果模型一直把錯的樣本抓出來重訓,這比較像哪種集成法?
比較像 Boosting,因為它會把注意力放在前一輪的錯誤上。
Q2(判斷題): 如果你只想讓多個模型平均一下結果,會是 Boosting 嗎?
通常不是,這比較像 Bagging。
常見問題
不一定,要看資料型態和噪聲大小。
因為它對結構化特徵很敏感,常能拿到很強的預測效果。
會,尤其資料噪聲多或樹太深時,要搭配正則化和早停。
Bagging 用重抽樣的資料平行訓練多個模型,再平均或投票,主要降低變異。Boosting 是一個接一個訓練,後面的模型專門修正前面分錯或殘差大的部分,主要降低偏差。隨機森林屬於 Bagging 路線,AdaBoost、XGBoost 屬於 Boosting。
機器學習裡的 Boosting 常譯為提升法或提升方法,也有人寫作提升演算法。它和英文日常用語的 boosting(增強、提振)不同,在這裡專指把多個弱學習器依序組合成強學習器的集成學習方法。
相關術語
來源
參考來源:en.wikipedia.org
其他格式:Markdown 版本