iPAS 備考專區 登入

iPAS AI 應用規劃師 中級 科目三 機器學習技術與應用・114 年第二次・L23・第 19 題

不平衡資料集中,哪種做法最不適合提升少數類預測?

原題

某醫療機構開發疾病早期偵測模型,正樣本(確診病例)僅佔 3%。在模型訓練與評估過程中,下列哪一種作法最不適合用於提升對少數類病例的預測能力?

白話

一個醫療機構的疾病偵測模型面臨嚴重的資料不平衡:確診病例只有 3%,非確診佔 97%。題目列出四種可能的處理策略,其中三種有助於讓模型更能辨識少數類(確診病例),一種反而幫倒忙。

問你:哪一種做法最不適合用來提升模型對少數類(確診病例)的預測能力?

一句話總結

在嚴重不平衡資料(確診病例僅 3%)的疾病偵測任務中,使用準確率(Accuracy)作為評估指標是最不適合的做法:模型只要把所有人都預測為「未確診」,就能達到 97% 的準確率,但完全沒有找到任何確診病例,形成「高分低能」的假象。

情境

先感受問題:97% 準確率的模型,卻一個病患都找不到

「長安醫院」開發一個罕見疾病早期偵測系統,用 10000 筆病歷訓練:9700 人未確診(97%),300 人確診(3%)。

工程師小莉用準確率(Accuracy)來評估模型的好壞。她驚訝地發現:

  • 模型 A:把所有人都預測為「未確診」。準確率 = 9700 / 10000 = 97%。但它一個真正的病患都沒找到。
  • 模型 B:準確率 80%,但把 260 個確診病患正確找出來了(Recall = 87%)。

如果用準確率作為評估指標,模型 A「贏了」,但它根本沒有任何醫療價值。準確率在嚴重不平衡資料集下是一個完全失效的指標,繼續用它只會誤導整個訓練方向。

舊方法

準確率在不平衡資料集下的問題

  1. 多數類佔主導,少數類被淹沒:當 97% 資料是負例,模型只要學會「什麼都說負例」就能得到 97% 準確率,少數類的預測能力完全不被評估到。
  2. 無法反映 Recall(召回率)的下降:疾病偵測最重要的是「找到病患的比例」(Recall),準確率完全不反映 Recall,即使 Recall = 0 也能有高準確率。
  3. 優化方向被誤導:如果用準確率做損失函數的基礎,模型會學習「優化多數類的預測準確度」,因為這對整體準確率貢獻更大。少數類樣本的錯誤被視為「小問題」,模型不會努力改善它。
  4. 難以比較不同模型的少數類預測能力:模型 A(Accuracy 97%,但 Recall 0%)和模型 B(Accuracy 80%,但 Recall 87%),準確率更高的 A 反而更差,準確率作為指標無法揭示這個事實。
  5. 誤導決策者對模型效能的判斷:醫院管理層看到「準確率 97%」可能誤以為模型很好,實際上模型對疾病偵測毫無用處,可能帶來嚴重的醫療後果。

新方法

為什麼準確率在這裡是最不適合的

小莉把評估指標換成 F1 分數(兼顧 Precision 和 Recall)和 AUC-ROC(評估整體排序能力),模型的訓練方向立刻改變:它開始努力找出那 3% 的確診病患,而不是聰明地把所有人都預測為未確診。

對比其他三個選項:SMOTE 過採樣(合成少數類新樣本)、調整類別權重(讓少數類的錯誤代價更高)、欠採樣多數類(減少多數類樣本數量),這三個都是真正有助於提升少數類預測能力的做法。

這就是為什麼選項 C 最不適合:使用準確率(Accuracy)作為評估指標不只沒有幫助,還會積極誤導模型訓練,讓它朝相反的方向優化。

錯選項

為什麼其他三個選項是「有效的做法」(不是答案)

A使用 SMOTE 過採樣

字面在說什麼

SMOTE 透過在少數類樣本之間插值,生成合成的新樣本,增加少數類的代表性。

為什麼不是答案

SMOTE 是一個有效的不平衡處理方法。它讓模型訓練時看到更多少數類樣本,有助於學習少數類的特徵邊界,通常能顯著提升 Recall 和 F1。選這個表示此選項是「有效的做法」,不是「最不適合」的選項。

誰會選錯

認為「人工生成的假樣本不真實,所以反而有害」的人。SMOTE 確實有局限性(生成樣本可能不真實、在高維度資料上效果有限),但它的方向是正確的:增加少數類的訓練資料,是有效的做法之一。

B調整類別權重

字面在說什麼

在損失函數中,讓少數類樣本的錯誤比多數類樣本的錯誤付出更大的代價,迫使模型更關注少數類。

為什麼不是答案

調整類別權重是處理不平衡資料最常用、最簡單的方法之一,在 Sklearn 中一行 class_weight='balanced' 即可實現。它直接影響損失函數的計算,讓模型的優化目標向少數類傾斜,通常能有效提升少數類的 Recall,是有效的做法。

誰會選錯

對「調整類別權重」陌生,不確定它是否真的有效的人。這是一個成熟且有理論依據的方法,廣泛用於各種不平衡分類任務。

D欠採樣多數類

字面在說什麼

從多數類(非確診,97%)中隨機移除一部分樣本,讓資料集更平衡。

為什麼不是答案

欠採樣多數類雖然有「丟失多數類資訊」的缺點,但它的作用方向是正確的:讓訓練資料中少數類的比例提高,模型不得不學習少數類的特徵,有助於提升少數類的預測能力。缺點是多數類的樣本多樣性降低,但這是準確率和少數類召回率之間的取捨,不是「最不適合」。

誰會選錯

認為「刪掉資料一定不好」的人。欠採樣確實會丟失資訊,但在嚴重不平衡的場景下,這個代價通常是值得的。「最不適合」的是準確率(評估指標),不是欠採樣(資料處理策略)。

變形題

同個考點下次怎麼變形

延伸

想再往下看,這 5 個

答案、題目或解析有問題?回報這題

出處:iPAS 經濟部產業人才能力鑑定 ・ 114 年第二梯次 iPAS AI 應用規劃師 中級 科目三 機器學習技術與應用 第 19 題

看官方原文 PDF

原題 © 經濟部產業發展署,AITerms.tw 僅作教學解析使用,本站解析以 CC BY-NC-SA 4.0 授權。