搜尋意圖： 如果你在找「自適應提升 是什麼」或「自適應提升 和相近概念差在哪」，先看這頁的短定義、完整說明與延伸比較。
TL;DR： 透過動態調整樣本權重，使後續模型專注於前面模型的分類錯誤的經典 Boosting 演算法。
實用情境： 適合用在閱讀 AI 文章、產品文件或和同事討論時，先用一頁快速對齊概念。
下一步： 先讀完定義，再往下看延伸比較與對應工具，把概念轉成實際應用。
透過動態調整樣本權重，使後續模型專注於前面模型的分類錯誤的經典 Boosting 演算法。
AdaBoost（Adaptive Boosting）的歷史地位獨特：它既是弱學習理論與實務的第一次成功結合，也是現代 Boosting 家族的理論先驅。Freund 與 Schapire 因 AdaBoost 的理論貢獻獲得了 2003 年的哥德爾獎。
弱學習假設
AdaBoost 的理論源自一個深刻的問題：Kearns 和 Valiant 在 1989 年提出的「弱學習假設」：若存在多個分類精度略優於隨機猜測的弱學習器（例如準確率 51%），能否組合成任意高精度的強學習器？答案是肯定的，AdaBoost 就是這個理論承諾的具體實現。
工作原理
AdaBoost 的流程相對簡潔：
初始化：給每個訓練樣本 i 賦予相等的權重 w_i = 1/N。
迭代（t = 1 to T）： a. 用當前樣本權重分布訓練基礎分類器 h_t，目標是儘量降低加權錯誤率 ε_t = Σ_{i: h_t(x_i) ≠ y_i} w_i。 b. 計算分類器的「重要度」：α_t = 0.5 × ln((1 - ε_t) / ε_t)。若 ε_t = 0（完美分類），α_t = ∞；若 ε_t = 0.5（與隨機等價），α_t = 0。 c. 更新樣本權重： w_i ← w_i × exp(-α_t × y_i × h_t(x_i)) （y_i 和 h_t(x_i) 同號時指數為負，權重降低；異號時為正，權重升高） d. 歸一化權重，使其和為 1。
最終預測：採用加權多數投票 sign(Σ_t α_t × h_t(x))。
這個過程的妙處在於：每輪的權重動態調整形成了一個「關注難例」的自適應機制。被第 t 輪誤分類的樣本在第 t+1 輪會獲得更高的權重，強制下一個分類器去努力學習它。
理論保證
Freund 與 Schapire 証明了一個重要定理：若每個弱學習器的準確率都大於 50%（即 ε_t < 0.5），經過足夠輪次的 AdaBoost，訓練誤差可以指數級遞減。具體地，訓練誤差上界為：
誤差 ≤ exp(-2 × Σ_t (0.5 - ε_t)²)
這説明只要基礎分類器比隨機略優（0.5 - ε_t > 0），即使優勢很小，足夠輪次的 AdaBoost 也能將訓練誤差逼近 0。
AdaBoost.M1 vs. AdaBoost.M2
AdaBoost.M1 適用於二分類，對於多分類任務 Schapire 提出了 AdaBoost.M2，核心改進是使用「偽損失」而非簡單的 0/1 誤差，使算法能處理多分類的「部分錯誤」。但在實務中，多分類通常透過 One-vs-Rest 或 One-vs-One 的二分類轉化執行，所以 AdaBoost.M2 的使用相對較少。
AdaBoost vs. Gradient Boosting
| 維度 | AdaBoost | Gradient Boosting |
|---|---|---|
| 損失函數 | 指數損失（固定） | 任意可微 |
| 基礎模型 | 任意分類器 | 通常為決策樹 |
| 權重調整 | 顯式更新 | 隱式（梯度決定） |
| 理論基礎 | 弱學習組合定理 | 梯度下降優化 |
| 實務應用 | 較少（被 GB 取代） | 廣泛（XGBoost 等） |
| 對異常值敏感 | 非常敏感 | 中等敏感 |
梯度提升的出現使 AdaBoost 逐漸淡出現代應用，但它在教學、理論研究和某些特定領域（如人臉偵測）仍有價值。
實務建議
現代應用中，若考慮使用 Boosting，直接用梯度提升（XGBoost、LightGBM）是標準選擇，無需回到 AdaBoost。AdaBoost 主要保留其教學和歷史價值：它清晰地展示了 Boosting 的核心思想，是理解後續演算法的良好入門。若確實需要用 AdaBoost（如某些工業遺留系統或特定應用），scikit-learn 有完整實現，但調優經驗相對較少。
常見問題
為什麼 AdaBoost 現在用得越來越少？
主要原因有三點：第一，梯度提升框架更通用：AdaBoost 針對指數損失，梯度提升適應任意損失函數，使後者更靈活；第二，梯度提升性能往往更優，特別是在結構化資料上，XGBoost 已成為事實標準；第三，AdaBoost 對異常值極端敏感，一個標注錯誤可能被放大數倍，而梯度提升的魯棒性更好。在 Kaggle 競賽、金融風控、推薦系統等實務應用中，選擇梯度提升（通常 XGBoost 或 LightGBM）已成為默認做法。但 AdaBoost 仍在某些地方有應用，如人臉偵測中的級聯分類器（Cascade Classifier）和某些實時系統，因為它的快速性和內存效率。
AdaBoost 中的基礎分類器應該選什麼？決策樹可以嗎？
AdaBoost 理論上支持任意準確率 > 50% 的分類器作為基礎模型：決策樹、線性分類器、SVM 都可以。實務中最常選決策樹（尤其是淺樹，如決策樁 Decision Stump，只有一層分裂），原因是：第一，樹的訓練快，Boosting 需要多輪訓練；第二，樹本身的高方差特性與 Boosting 的「多樣性」理念相得益彰；第三，樹對權重敏感，能有效響應樣本權重的變化。使用其他分類器（如 SVM 或邏輯回歸）的優點是可能具有更好的統計特性，但缺點是計算成本通常更高，Boosting 的邊際收益也更低（因為基礎模型本身已足夠強）。決策樹是歷史上的標準選擇，scikit-learn 預設也是樹。
AdaBoost 為什麼對異常值敏感？怎麼防止？
AdaBoost 的樣本權重動態調整機制雙刃劍：一方面它使演算法能聚焦於難分類樣本，另一方面若難分類的原因是異常值或標注錯誤，Boosting 會執著地去擬合它，最終過擬合到這些錯誤點。梯度提升因為引入了二階導數和正則化，魯棒性更好。若必須用 AdaBoost，防止異常值敏感的主要手段有：第一，嚴格的資料清洗，移除明顯的離群值和標注錯誤；第二，使用 Robust AdaBoost 變體，例如設定樣本權重的上界（防止單個樣本的權重無限升高）；第三，引入正則化項限制基礎分類器的複雜度；第四，用交叉驗證選擇迭代輪數，而非訓練到完全過擬合。在有雜訊的現實資料中，通常梯度提升會表現更穩健。