AITerms 登入
機器學習模型訓練模型評估

提升算法(Boosting)是什麼?

Boosting 是一種集成學習技術,透過迭代訓練一系列弱學習器,每個學習器都試圖糾正前一個學習器的錯誤,最終將它們組合起來形成一個強學習器。

完整定義

Boosting 是一種集成學習方法,旨在通過迭代的方式,將多個弱學習器組合成一個強學習器。每個弱學習器都試圖糾正前一個學習器的錯誤,從而逐步提高模型的準確性。Boosting 算法通常採用加權的方式來組合弱學習器的預測結果,權重的大小取決於每個弱學習器的性能。

白話說明

你想把一群弱模型接力變成一個強模型時,你會怎麼判斷它真正的作用?

你可以把它想成 Boosting 是一種集成學習技術,透過迭代訓練一系列弱學習器,每個學習器都試圖糾正前一個學習器的錯誤,最終將它們組合起來形成一個強學習器。

在 你想把一群弱模型接力變成一個強模型時 這種情境裡,這個概念會直接影響你怎麼設計、怎麼評估、怎麼上線。

比喻

Boosting 就像一組團隊合作的偵探 -- 第一個偵探先找出一些線索,但會犯錯;第二個偵探會特別關注第一個偵探犯錯的地方,努力修正,然後第三個偵探再修正第二個的錯誤,這樣一個接一個,每個偵探都彌補前一個的不足,最後所有偵探的意見加起來,就能做出最精準的判斷。

容易混淆

Boosting vs Bagging

Boosting 是一輪補一輪的錯誤,Bagging 是多個模型平行投票。

Boosting vs Random Forest

Random Forest 偏 Bagging 路線,Boosting 偏逐步修正路線。

Boosting vs Stacking

Stacking 是再用一個模型整合多個模型,Boosting 則是序列式地把弱模型疊起來。

實際案例

案例 1:表格資料預測

信用風險、流失預測、廣告轉換這類表格任務,Boosting 常常很強。

案例 2:錯誤修正

前一輪老是漏掉的樣本,下一輪會被更重視。

演算法與應用

面向
核心
重點
每一輪都盯著前一輪的錯誤,慢慢把模型推強。
面向
優點
重點
通常能把偏差壓低,表格資料表現常很好。
面向
注意
重點
資料太吵時,Boosting 也可能把噪聲一起學進去。

Boosting 與 Bagging 的根本差別

一句話的區別:bagging 是「大家各自判斷再投票」,boosting 是「一個接一個補前面沒做好的地方」。

因為 boosting 是序列的,它沒辦法像 bagging 那樣直接平行訓練。XGBoost 與 LightGBM 的速度優勢來自把單棵樹的建構過程平行化,不是把整串樹平行化。

項目
訓練方式
Bagging
各個模型獨立訓練,可平行
Boosting
一個接一個,後面修前面的錯
項目
每個模型看的資料
Bagging
隨機抽樣(bootstrap)
Boosting
全部資料,但錯的樣本權重加重
項目
主要在減少
Bagging
變異數(variance)
Boosting
偏差(bias)
項目
適合的基模型
Bagging
較深、容易過擬合的樹
Boosting
很淺的樹(常見深度 3 到 6)
項目
對雜訊
Bagging
較穩健
Boosting
較敏感,容易把雜訊也學進去
項目
代表
Bagging
隨機森林
Boosting
AdaBoost、GBDT、XGBoost、LightGBM

三代 boosting 的演進

AdaBoost(自適應提升)

最早的實用版本。做法是給每個訓練樣本一個權重,每訓練完一個弱分類器,就把它答錯的樣本權重調高,下一個分類器因此會更注意那些難題。最後把所有分類器加權投票。

梯度提升(Gradient Boosting,GBDT)

換一個角度看同一件事:不調樣本權重,而是讓每一棵新樹去擬合「目前為止的預測與真實值之間的殘差」,也就是沿著損失函數的梯度方向走。這個框架的好處是可以換任何可微的損失函數,回歸、分類、排序都能做。

XGBoost 與 LightGBM

都是梯度提升的工程化版本。XGBoost 在目標函數裡加進正則化項,並用二階導數資訊決定分裂點。LightGBM 改用逐葉(leaf-wise)生長與直方圖式分裂,在大資料上更快。

選型建議:結構化表格資料上,梯度提升這一路長年是最強的預設選擇,通常比神經網路更快也更準。資料量不大先用 XGBoost,資料量很大或欄位很多再考慮 LightGBM。

情境判斷

Q1(判斷題): 如果模型一直把錯的樣本抓出來重訓,這比較像哪種集成法?

比較像 Boosting,因為它會把注意力放在前一輪的錯誤上。

Q2(判斷題): 如果你只想讓多個模型平均一下結果,會是 Boosting 嗎?

通常不是,這比較像 Bagging。

常見問題

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

參考來源:en.wikipedia.org

其他格式:Markdown 版本