完整定義
交叉驗證是一種模型評估技術,用於評估機器學習模型在未見資料上的泛化能力。它將資料集分成多個子集(通常稱為摺疊),然後迭代地使用其中一個子集作為驗證集,其餘子集作為訓練集。通過平均多次迭代的評估結果,可以更可靠地估計模型的性能。在 iPAS 考試中,交叉驗證是評估模型泛化能力的重要方法。
白話說明
你有沒有在你怕模型只是在一份資料上考得好,換一份就掉分時,還在想這件事到底該怎麼看?
把它想成多次輪流考試,看模型是不是每次都穩。
它會把資料切成幾份,輪流拿不同部分當驗證集,讓評估更穩定。
資料越少,越需要靠它來減少偶然性。
記住這句
不是只考一次,是輪流考好多次。
比喻:交叉驗證就像學生準備多個模擬考 -- 不是只考一份,而是把題目分成好幾份,每次用不同的考卷來測試自己,確保自己是真的懂了,而不是剛好猜對其中一份考卷。
容易混淆
validation-set
vs 單一驗證集:單一驗證集像只考一份模擬考,結果可能不準確,容易過度樂觀或悲觀;交叉驗證則像考好幾份模擬考,能更全面地評估模型的真實實力。
常見混淆:交叉驗證 vs validation-set
單一驗證集只切一次,交叉驗證會輪流驗證多次。
實際案例
小資料集選模
樣本少時,用交叉驗證比單次切分更可靠。
超參數比較
不同參數組合都跑幾輪,平均後再決定誰比較穩。
演算法與應用
1. 常見做法是 k-fold,把資料分成 k 份輪流驗證。
2. 它能降低單次切分的運氣成分,但不等於完全消除過擬合。
3. 如果資料量很大,單一驗證集有時就夠用,因為計算成本更低。
情境判斷
Q1:你只有很少資料,還想比較兩個模型,該用什麼?
交叉驗證通常更適合,因為它能讓評估更穩。
Q2:交叉驗證做完就不用測試集了嗎?
不是,測試集還是要保留,最後確認泛化能力時不能拿來訓練。
iPAS 考題
Q1:交叉驗證主要用來做什麼?
評估模型泛化能力,尤其適合資料量較小時。
Q2:k-fold 交叉驗證的核心做法是什麼?
把資料分成 k 份,輪流拿其中一份做驗證,其餘做訓練。
常見問題
交叉驗證使用多個驗證集來評估模型,而傳統的驗證集只使用單一一個驗證集。交叉驗證通過多次訓練和驗證,取平均結果,能更全面地評估模型在不同資料子集上的表現,降低模型評估的偶然性。驗證集則通常用於在模型訓練過程中調整超參數,但其評估結果可能受到該特定驗證集資料分佈的影響。
當資料量相對較小,且需要更可靠地評估模型效能時,應使用交叉驗證。尤其是在模型選擇、超參數調整或比較不同模型時,交叉驗證可以提供更穩定的評估結果,降低模型過度擬合的風險。如果資料量非常大,且計算資源有限,則可以考慮使用單一驗證集。
初學者最常見的誤解是認為交叉驗證可以完全避免過度擬合。雖然交叉驗證可以降低過度擬合的風險,但並不能完全消除它。如果訓練資料本身存在偏差或雜訊,或者模型結構過於複雜,即使使用交叉驗證,仍然可能出現過度擬合的情況。因此,除了交叉驗證之外,還需要注意資料清洗、特徵選擇和模型簡化等方法。
先把資料打散,平均分成 k 份。每一輪拿其中 1 份當測試資料,其他 k - 1 份訓練模型,重複 k 次讓每一份都當過一次測試資料,最後算出 k 次指標的平均與標準差。k 常用 5 或 10。
最簡單的是 cross_val_score(model, X, y, cv=5),會回傳 5 次的分數。需要多個指標用 cross_validate,自訂切法可傳入 KFold、StratifiedKFold 等物件。前處理建議和模型包成 Pipeline,避免驗證資料的資訊洩漏到訓練中。
出現在這些考古題
官方公告試題的逐題解析裡,有 11 題把交叉驗證列為延伸術語,這裡列出 5 題。
立即測驗
想測試你對 交叉驗證 的掌握程度?用考古題作答
相關術語
來源
參考來源:ipd.nat.gov.tw
考試範圍:iPAS AI 應用規劃師評鑑內容範圍參考(115.02 更新),經濟部產業人才能力鑑定,實際考試內容以官方公告為準。
其他格式:Markdown 版本