iPAS 備考專區 登入

iPAS AI 應用規劃師 中級 科目一 AI 技術應用與規劃・114 年第二次・L21・第 10 題

同時兼顧 Precision 和 Recall,要看哪個指標?

原題

如果希望同時兼顧「精確率(Precision)」和「召回率(Recall)」,下列哪一個指標可以作為綜合評估的標準?

白話

評估 AI 分類模型時,有兩個常用指標:「Precision(精確率)」和「Recall(召回率)」。這兩個指標通常互相牽制,很難同時都高。

有一個指標可以把這兩個合併成一個分數,方便你一眼看出模型整體表現。

問你:哪一個指標能同時兼顧 Precision 和 Recall?

一句話總結

要同時兼顧精確率和召回率,答案是 F1 分數(F1 Score):它是 Precision 和 Recall 的調和平均數,兩者都高時 F1 才會高,任一個很低時 F1 也會跟著低。

情境

先感受問題:抓壞人和冤枉好人,很難兩全

「信安金融」的 AI 風控系統要辨識詐騙交易,每筆交易分類成「詐騙(正例)」或「正常(負例)」。

工程師面對一個兩難:

Precision(精確率):AI 說「這是詐騙」時,真的有多少比例是詐騙?

→ Precision 高 = AI 很少冤枉好人

Recall(召回率):所有真正的詐騙交易,AI 抓到了多少?

→ Recall 高 = AI 很少漏掉壞人

問題:如果把 AI 調得「非常謹慎」(只有非常確定才說詐騙),Precision 就很高,但很多詐騙沒被抓到,Recall 就低。反過來,如果「非常激進」(稍有嫌疑就說詐騙),Recall 高,但冤枉很多好人,Precision 低。

這時候需要一個指標,讓你在這個 tradeoff 中找到綜合評估的依據,那就是 F1 分數。

F1 分數是 Precision 和 Recall 的調和平均:兩個都高,F1 才高;任何一個很低,F1 就跟著低。比單純算算術平均更嚴格。

舊方法

只看 Precision 或 Recall 各自會踩哪些坑?

  1. 只看 Recall 的問題:AI 學到「所有交易都說詐騙」就能達到 Recall = 1.0(沒有漏掉任何詐騙),但 Precision 接近 0,實際上毫無用處。信安金融會把所有正常客戶都凍結帳戶。
  2. 只看 Precision 的問題:AI 學到「只對最確定的一筆詐騙下判斷」,Precision = 1.0(判定詐騙的都真的是詐騙),但 Recall 接近 0,99.9% 的詐騙都漏掉了。
  3. 只看 Accuracy 的問題:如果 1000 筆交易裡只有 10 筆是詐騙(1% 詐騙率),AI 說「所有都是正常」就能得到 99% 的 Accuracy,但完全沒用。
  4. 無法比較兩個模型誰更「均衡」:模型 A(Precision 0.9,Recall 0.3)和模型 B(Precision 0.6,Recall 0.7),光看個別數字很難判斷誰更好用,F1 讓比較有單一基準。
  5. 決策者要求「一個數字說了算」:向主管報告時,同時說 Precision 和 Recall 容易讓人困惑,F1 提供了一個綜合分數方便決策。

新方法

F1 分數:調和平均讓任何一個低都會拖分

信安金融的工程師用 F1 分數作為模型評估基準:

模型 A 的 F1:Precision = 0.9,Recall = 0.3

F1 = 2 × (0.9 × 0.3) / (0.9 + 0.3) = 2 × 0.27 / 1.2 = 0.45

模型 B 的 F1:Precision = 0.6,Recall = 0.7

F1 = 2 × (0.6 × 0.7) / (0.6 + 0.7) = 2 × 0.42 / 1.3 ≈ 0.65

模型 B 的 F1 明顯更高,代表它在「不冤枉好人」和「不漏掉壞人」之間取得了更好的平衡。

算術平均的問題:(0.9 + 0.3) / 2 = 0.60,和 (0.6 + 0.7) / 2 = 0.65,差距沒那麼明顯。調和平均(F1)對低值更敏感,更能凸顯 Recall = 0.3 這個嚴重弱點。

這就是選項 D 講的:F1 分數(F1 Score)能兼顧 Precision 和 Recall。

錯選項

為什麼其他選項是錯的

A準確率(Accuracy)

字面在說什麼

Accuracy 可以同時兼顧 Precision 和 Recall。

為什麼不對

Accuracy 的公式是 (TP + TN) / 全部樣本,它包含了 TN(正確識別的負例),完全不反映 Precision 和 Recall 的 tradeoff。在類別不平衡的資料集(如詐騙偵測,99% 正常交易),把所有交易都說「正常」,Accuracy = 99%,但 Precision 和 Recall 都是 0。Accuracy 和 Precision/Recall 是完全不同維度的指標。

誰會選錯

記得「Accuracy 是最常用的評估指標」就直接選的人,沒有意識到 Accuracy 無法反映 Precision 和 Recall 的平衡關係。

B均方根誤差(RMSE)

字面在說什麼

RMSE 能綜合評估 Precision 和 Recall。

為什麼不對

RMSE(Root Mean Squared Error)是迴歸任務(預測連續值,如房價、溫度)的評估指標,衡量預測值和真實值之間的距離。Precision 和 Recall 是分類任務的概念,RMSE 根本無法計算分類任務的 Precision 和 Recall。完全用錯場景的指標。

誰會選錯

知道 RMSE 是「常見評估指標」但不清楚它適用於迴歸而非分類的人。看到「均方根誤差」有個「誤差」就覺得適合用來衡量任何錯誤。

C均方誤差(MSE)

字面在說什麼

MSE 能綜合評估 Precision 和 Recall。

為什麼不對

MSE(Mean Squared Error)和 RMSE 一樣,是迴歸任務的指標,而非分類指標。MSE = 預測值和真實值差的平方的平均,和分類任務的 TP/FP/FN 沒有任何關係。選項 B 和 C 都是在考「你有沒有搞清楚迴歸指標和分類指標的區別」。

誰會選錯

和選 B 的人同類型:把所有「有個誤差公式的指標」都認為可以評估分類效果,對指標的適用場景缺乏了解。

變形題

同個考點下次怎麼變形

延伸

想再往下看,這 5 個

答案、題目或解析有問題?回報這題

出處:iPAS 經濟部產業人才能力鑑定 ・ 114 年第二次 iPAS AI 應用規劃師 中級 科目一 第 10 題

看官方原文 PDF

原題 © 經濟部產業發展署,AITerms.tw 僅作教學解析使用,本站解析以 CC BY-NC-SA 4.0 授權。