什麼是 提升算法（Boosting）？

Boosting 是一種集成學習技術，透過迭代訓練一系列弱學習器，每個學習器都試圖糾正前一個學習器的錯誤，最終將它們組合起來形成一個強學習器。

核心概念

Boosting 的核心概念是將多個弱學習器（Weak Learner）組合成一個強學習器（Strong Learner）。弱學習器是指準確度略高於隨機猜測的學習器，例如單層決策樹。Boosting 算法通過迭代的方式，訓練一系列的弱學習器，每個弱學習器都試圖糾正前一個弱學習器的錯誤。在每一輪迭代中，Boosting 算法會調整樣本的權重，使得前一個弱學習器預測錯誤的樣本在後續的訓練中得到更多的關注。最終，Boosting 算法將所有弱學習器的預測結果進行加權組合，得到最終的預測結果。

運作原理

Boosting 的運作原理可以概括為以下幾個步驟：

1. 初始化樣本權重： 為每個樣本分配一個初始權重，通常所有樣本的權重相等。
2. 迭代訓練弱學習器： 進行 T 輪迭代，在每一輪迭代中：
   • 使用帶權重的樣本訓練一個弱學習器。
   • 計算弱學習器的預測誤差。
   • 根據預測誤差調整樣本的權重，使得預測錯誤的樣本權重增加，預測正確的樣本權重減少。
   • 計算弱學習器的權重，權重的大小取決於弱學習器的性能。
3. 加權組合弱學習器： 將所有弱學習器的預測結果進行加權組合，得到最終的預測結果。

實際應用

Boosting 是一種强大的集成學習方法，可以應用於各種機器學習任務中，例如：

• 分類： 使用 Boosting 可以提高分類模型的準確性，例如，AdaBoost、Gradient Boosting Machine (GBM)、XGBoost、LightGBM 和 CatBoost 都是基於 Boosting 的分類算法。
• 回歸： 使用 Boosting 可以提高回歸模型的準確性，例如，Gradient Boosting Regression Tree (GBRT) 是一種基於 Boosting 的回歸算法。
• 排序： 使用 Boosting 可以提高排序模型的準確性，例如，LambdaMART 是一種基於 Boosting 的排序算法。

Boosting 在實際應用中有很多成功的案例，例如：

• 廣告點擊率預測： 使用 Boosting 可以提高廣告點擊率預測模型的準確性，提高廣告收入。
• 金融欺詐檢測： 使用 Boosting 可以提高金融欺詐檢測模型的準確性，降低金融損失。
• 圖像識別： 使用 Boosting 可以提高圖像識別模型的準確性，例如，人臉識別、物體識別等。

常見誤區

• Boosting 與 Bagging 的區別： Boosting 和 Bagging 都是集成學習方法，但它們的原理和應用場景不同。Bagging 是通過對原始資料集進行多次有放回的抽樣，訓練多個獨立的模型，並將它們的預測結果進行平均或投票。Boosting 則是通過迭代的方式，訓練一系列的模型，每個模型都試圖糾正前一個模型的錯誤。Bagging 旨在降低模型的方差，Boosting 旨在降低模型的偏差。
• 弱學習器的選擇： Boosting 對弱學習器的選擇沒有嚴格的要求，但通常選擇簡單的模型作為弱學習器，例如單層決策樹。如果弱學習器過於複雜，則 Boosting 的效果可能不明顯。
• 過擬合： Boosting 容易過擬合，因為每個弱學習器都試圖糾正前一個弱學習器的錯誤，如果訓練資料集中存在噪聲，則 Boosting 可能會將噪聲也學習進去。需要通過正則化、早停等方法來防止過擬合。
• 計算成本： Boosting 的計算成本通常比 Bagging 高，因為 Boosting 需要迭代訓練多個弱學習器，並且需要調整樣本的權重。需要根據實際情況選擇合適的 Boosting 算法。

常見問題