iPAS 備考專區 登入

iPAS AI 應用規劃師 初級 科目一 人工智慧基礎概論・115 年第一次・L11・第 50 題

寧可誤診不能漏診,癌症模型要看哪個指標?

原題

某醫院使用機器學習模型篩檢癌症患者。模型預測結果會決定哪些病人需要進一步檢查。院方非常重視盡量找出所有可能的癌症患者,即希望降低漏診(Missed Diagnosis)風險,即便這可能增加一些誤判。下列哪一個評估指標最能反映模型找出癌症患者的能力?

白話

某醫院用機器學習模型篩檢癌症患者,模型預測結果決定哪些病人需要進一步檢查。院方的優先考量是:盡量找出所有可能的癌症患者、降低漏診風險,即便這樣會增加一些誤判也可以接受。

問你:哪一個評估指標最能反映模型找出癌症患者的能力?

一句話總結

召回率(Recall)衡量「在所有真正的患者中,模型找到了幾個」,要降低漏診、確保不放過任何真正的癌症患者,Recall 是最直接反映這個能力的指標。

情境

先感受問題:漏診一個癌症患者和多叫幾個人複查,哪個代價更大?

想像你是「仁愛醫院」的資料科學家。你建了一個肺癌篩檢模型,用電腦斷層影像預測哪些病人需要進一步精密檢查。

現在 100 個病人做了篩檢,其中實際上有 10 人真的有肺癌早期跡象。你的模型預測結果是:

  • 預測「可能有癌」並通知複查:共 20 人(其中 8 人真的有,12 人是虛驚一場)
  • 預測「沒問題」放行:共 80 人(其中 2 人其實有癌,被漏掉了)

院長問你:「我最擔心的是漏掉的那 2 個人,怎麼知道我們的模型有沒有改善這個問題?」

你需要的指標是:在 10 個真的有癌的人裡,模型找到幾個。8 個找到 → Recall = 8/10 = 80%。

院長要的不是「在我們叫去複查的人裡有幾個真的有癌」(那是 Precision = 8/20 = 40%),而是「在所有有癌的人裡,我們有沒有找到他們」(Recall)。

舊方法

用準確率(Accuracy)評估癌症篩檢的五個問題

  1. 類別不平衡讓準確率失真:如果 1000 人裡只有 10 人有癌,模型把所有人都預測「沒癌」,準確率是 99%,但 10 個患者全被漏掉了,這是最差的模型
  2. 無法反映漏診風險:準確率只看整體對錯,不區分「漏診(把有癌說成沒癌)」和「誤診(把沒癌說成有癌)」哪個更嚴重
  3. 不能指導模型閾值調整:提高判定為「有癌」的靈敏度(降低門檻),會增加 Recall 但降低 Precision,準確率無法描述這個 tradeoff
  4. 醫療決策需要不對稱評估:漏診一個癌症患者的代價,遠大於讓一個健康人多做一次複查。準確率把兩種錯誤等同看待,不合醫療邏輯
  5. 對稀有病例不敏感:癌症篩檢的正例(有癌)本來就少,準確率主要反映多數類別(沒癌)的預測結果,完全掩蓋了少數類別的表現

「仁愛醫院」第一版模型準確率 98%,但 Recall 只有 50%,有一半有癌的患者被漏掉了。院長看到 98% 很開心,直到第一個漏診事件發生。

新方法

Recall 怎麼解決漏診問題

Recall(召回率)的定義是:在所有真正的陽性樣本中,模型預測為陽性的比例。

對癌症篩檢:Recall = 被模型找出來的癌症患者數 ÷ 所有真正的癌症患者數。

Recall = 1 代表所有真正的患者都被找出來,沒有一個漏診。Recall 越高,漏診風險越低。

院方的目標是「降低漏診」,翻譯成指標語言就是「提高 Recall」。

提高 Recall 的代價是可能增加 Precision 下降,也就是更多健康人被叫去複查(誤診增加)。對癌症篩檢場景,這是可接受的代價:多做一次複查的成本遠低於錯過一個早期癌症的代價。

「仁愛醫院」把模型的判定門檻調低之後,Recall 從 50% 提升到 90%,代價是每 100 個篩檢多叫了 15 個人做複查。院方評估後認為這個 tradeoff 值得接受。

這就是選項 B 講的:召回率(Recall),最能反映模型找出所有癌症患者的能力。

錯選項

為什麼其他選項是錯的

A精準率(Precision)

字面在說什麼

在模型預測為陽性(有癌)的所有樣本中,有多少比例真的是陽性。問的是:「我叫去複查的人,有幾個真的有癌?」

為什麼不對

Precision 反映的是「陽性預測的可靠性」,跟漏診無關。就算 Precision = 100%(叫去複查的人全部真的有癌),仍可能有大量有癌的人沒有被叫去複查(高漏診率)。題目要降低的是漏診,Recall 才是對的指標。

誰會選錯

分不清 Precision 和 Recall 分別關注哪群人的人。Precision 看的是「被預測為陽性的這群人」,Recall 看的是「所有真正陽性的這群人」,兩個分母完全不同。

C假陽性率(False Positive Rate)

字面在說什麼

在所有真正陰性(沒有癌)的人中,被模型錯誤預測為陽性(有癌)的比例。反映的是「誤診率」。

為什麼不對

假陽性率衡量的是「把健康人誤判成有病」的比例,跟題目要降低的「漏診(把有病的人判成健康)」方向完全相反。題目問的是「找出患者的能力」,假陽性率沒有涉及真正患者的識別情況。

誰會選錯

知道「假陽性」跟癌症診斷有關,但把假陽性率和召回率的關注對象搞反的人。假陽性率分母是「真正陰性(健康人)」,Recall 分母是「真正陽性(患者)」,兩者衡量完全不同的事情。

DROC-AUC 曲線

字面在說什麼

繪製在不同判定閾值下 True Positive Rate(即 Recall)對 False Positive Rate 的曲線,AUC 是這條曲線下的面積,代表模型整體辨識能力。

為什麼不對

ROC-AUC 是評估模型「整體辨識能力」的綜合指標,適合比較兩個模型哪個更好,但無法直接回答「降低漏診風險」這個業務需求。院方問的是一個具體的操作指標,不是模型的整體比較分數。此外,ROC-AUC 在類別嚴重不平衡的醫療場景下可能過於樂觀,Precision-Recall 曲線更適合。

誰會選錯

記得「醫療模型要用 AUC 評估」但沒有分辨「整體模型評估」和「特定業務需求指標」差別的人。AUC 用來選模型,Recall 用來監控漏診風險,兩者用途不同。

變形題

同個考點下次怎麼變形

延伸

想再往下看,這 5 個

答案、題目或解析有問題?回報這題

出處:iPAS 經濟部產業人才能力鑑定 ・ 115 年第一次 iPAS AI 應用規劃師 初級 科目一 人工智慧基礎概論 第 50 題

看官方原文 PDF

原題 © 經濟部產業發展署,AITerms.tw 僅作教學解析使用,本站解析以 CC BY-NC-SA 4.0 授權。