AITerms 登入
機器學習模型訓練模型評估

偏差方差權衡(Bias-Variance Tradeoff)是什麼?

偏差方差權衡是指在模型訓練中,降低偏差會增加方差,反之亦然。目標是找到一個平衡點,使模型在未見過的數據上表現良好。

完整定義

偏差方差權衡是機器學習中的核心概念,描述了模型複雜度與泛化能力之間的關係。高偏差模型過於簡化,欠擬合數據;高方差模型過於複雜,過擬合數據。理想的模型應在兩者之間取得平衡,以達到最佳的預測準確度。

白話說明

你在比較一個模型訓練集很高、驗證集卻掉很多的時候,你會怎麼判斷它真正的作用?

你可以把它想成 偏差方差權衡是指在模型訓練中,降低偏差會增加方差,反之亦然。目標是找到一個平衡點,使模型在未見過的數據上表現良好。

在 你在比較一個模型訓練集很高、驗證集卻掉很多的時候 這種情境裡,這個概念會直接影響你怎麼設計、怎麼評估、怎麼上線。

比喻

偏差方差權衡就像寫考卷 -- 寫太精簡(高偏差)可能錯很多,但寫太詳細(高方差)又可能只適用這份考卷,換一份就錯;我們要找到一個平衡,讓模型既不太簡略也不過於死板,才能應付各種新題目。

容易混淆

偏差 vs 方差

偏差高代表模型太簡單,方差高代表模型對資料變動太敏感。

偏差方差權衡 vs 過擬合

過擬合是方差偏高的常見結果,權衡是在找兩者的平衡點。

偏差方差權衡 vs 正則化

正則化是調整權衡的工具,不是權衡本身。

實際案例

案例 1:小資料集上的深度模型

模型參數很多時,訓練集可能很漂亮,驗證集卻掉很快,這就是方差過高。

案例 2:只用線性模型做複雜任務

模型太單純,連訓練資料都學不夠,這就是偏差過高。

演算法與應用

面向
偏差
重點
模型的平均預測離真值有多遠,偏差高常見於欠擬合。
面向
方差
重點
模型對訓練資料變動有多敏感,方差高常見於過擬合。
面向
調整
重點
資料更多、模型更複雜、正則化、早停、交叉驗證都會影響平衡。

情境判斷

Q1(判斷題): 訓練集和驗證集都很差,這通常代表什麼?

多半是偏差太高,模型學得太少或特徵不夠。

Q2(判斷題): 訓練集很高、驗證集掉很多,該先懷疑什麼?

先懷疑方差太高,也就是模型太容易記住訓練資料。

常見問題

出現在這些考古題

官方公告試題的逐題解析裡,有 6 題把偏差方差權衡列為延伸術語,這裡列出 5 題。

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本