完整定義
偏差方差權衡是機器學習中的核心概念,描述了模型複雜度與泛化能力之間的關係。高偏差模型過於簡化,欠擬合數據;高方差模型過於複雜,過擬合數據。理想的模型應在兩者之間取得平衡,以達到最佳的預測準確度。
白話說明
你在比較一個模型訓練集很高、驗證集卻掉很多的時候,你會怎麼判斷它真正的作用?
你可以把它想成 偏差方差權衡是指在模型訓練中,降低偏差會增加方差,反之亦然。目標是找到一個平衡點,使模型在未見過的數據上表現良好。
在 你在比較一個模型訓練集很高、驗證集卻掉很多的時候 這種情境裡,這個概念會直接影響你怎麼設計、怎麼評估、怎麼上線。
比喻
偏差方差權衡就像寫考卷 -- 寫太精簡(高偏差)可能錯很多,但寫太詳細(高方差)又可能只適用這份考卷,換一份就錯;我們要找到一個平衡,讓模型既不太簡略也不過於死板,才能應付各種新題目。
容易混淆
偏差 vs 方差
偏差高代表模型太簡單,方差高代表模型對資料變動太敏感。
偏差方差權衡 vs 過擬合
過擬合是方差偏高的常見結果,權衡是在找兩者的平衡點。
偏差方差權衡 vs 正則化
正則化是調整權衡的工具,不是權衡本身。
實際案例
案例 1:小資料集上的深度模型
模型參數很多時,訓練集可能很漂亮,驗證集卻掉很快,這就是方差過高。
案例 2:只用線性模型做複雜任務
模型太單純,連訓練資料都學不夠,這就是偏差過高。
演算法與應用
- 面向
- 偏差
- 重點
- 模型的平均預測離真值有多遠,偏差高常見於欠擬合。
- 面向
- 方差
- 重點
- 模型對訓練資料變動有多敏感,方差高常見於過擬合。
- 面向
- 調整
- 重點
- 資料更多、模型更複雜、正則化、早停、交叉驗證都會影響平衡。
情境判斷
Q1(判斷題): 訓練集和驗證集都很差,這通常代表什麼?
多半是偏差太高,模型學得太少或特徵不夠。
Q2(判斷題): 訓練集很高、驗證集掉很多,該先懷疑什麼?
先懷疑方差太高,也就是模型太容易記住訓練資料。
常見問題
可以加資料、做正則化、簡化模型、提早停止訓練。
可以增加模型容量、加入更好的特徵,或換更能表達關係的模型。
不是絕對二選一,但在固定資料與算力下,通常只能往一邊挪一點,再觀察另一邊的代價。
出現在這些考古題
官方公告試題的逐題解析裡,有 6 題把偏差方差權衡列為延伸術語,這裡列出 5 題。
相關術語
來源
這個術語目前沒有標註外部來源。
其他格式:Markdown 版本