iPAS 備考專區 登入

iPAS AI 應用規劃師 初級 科目二 生成式 AI 應用與規劃・115 年第一次・L12・第 41 題

偏見檢測 vs 偏見緩解,差在哪?

原題

企業在評估 AI 決策模型是否存在資料分布偏差時,下列何者最屬於偏見檢測(Bias Detection)而非偏見緩解(Bias Mitigation)措施?

白話

企業在評估 AI 決策模型是否存在資料分布偏差時,可以採取不同類型的措施。有些措施是在「發現問題」,有些是在「修正問題」,題目要求區分這兩種性質。

問你:下列哪個做法屬於偏見檢測(Bias Detection),而不是偏見緩解(Bias Mitigation)?

一句話總結

偏見檢測是「發現有沒有偏見」,偏見緩解是「想辦法減少偏見」;比較不同資料分布下的預測錯誤率,是在診斷問題,屬於偏見檢測。

情境

先感受問題:你怎麼知道 AI 在歧視人?

假設「公正徵才」人資顧問公司開發了一套 AI 履歷篩選系統,用來決定哪些應徵者進入面試。系統跑了三個月,HR 主管梁美玲心裡有點不安:「這套系統對女性求職者是不是太嚴了?」

但她不確定。系統整體準確率很高,主管層也滿意效率提升。問題是「整體準確率高」不代表對每個族群都公平,有可能女性候選人的通過率系統性偏低,但因為男性人數更多,整體數字被稀釋掉了。

梁美玲的第一步,不是「馬上修模型」,而是要先確認問題存在:把男女候選人的預測通過率、錯誤拒絕率分開來看,看看兩組的分布是否有顯著差異。這個「分開來比較」的動作,就是偏見檢測。

舊方法

沒有系統性偵測,只靠直覺「感覺哪裡不對」

在偏見檢測流程建立之前,「公正徵才」的問題處理方式是這樣的:

  1. 沒有分群分析:只看整體準確率,從來不拆分「不同性別、年齡、地區的錯誤率是否相同」,偏見完全隱藏在平均值裡
  2. 靠直覺舉報:等到有候選人或部門主管反映「感覺不對」才啟動調查,這時問題可能已存在半年以上
  3. 修了就當解決:發現問題後直接改參數或閾值,但沒有重新跑分群分析確認問題是否真的被修掉,或有沒有把偏見轉移到另一個族群
  4. 偵測和緩解混在一起:一邊量測一邊改動,最後不知道哪個改動有效、問題是否被過度矯正
  5. 沒有量化基準:沒有定義「多大的差異算有偏見」,每次討論都在吵邊界,無法形成可重複的標準作業流程

結果是:問題發現得晚、修了不知道有沒有修好、下次同樣的偏見還會再出現。

新方法

先偵測再緩解,順序不能反

梁美玲決定先建立系統性的偏見偵測流程,把「發現問題」和「修問題」分成兩個獨立階段。

第一步:分群跑預測分布。把候選人依性別、年齡區間分開,分別計算每組的通過率、假陽性率(明明合格卻被拒)、假陰性率(不合格卻通過)。如果各組的錯誤率差距超過設定的閾值,就確認偏見存在。這正是選項 A 在描述的事:比較不同資料分布的預測結果分布與錯誤率。

第二步:確認偏見存在後,才啟動緩解措施。緩解可以選加權訓練樣本(選項 B)、加輸出過濾規則(選項 C)、調整決策閾值(選項 D)。這些都是在「已知有偏見」後才做的修正動作。

這兩個階段的本質不同:偵測是「看診量測血壓」,緩解是「開藥降血壓」。沒量就開藥,可能本來沒問題反而被過度調整。

這就是選項 A 講的:比較不同資料分布的模型預測結果分布與錯誤率,是診斷動作,屬於偏見檢測。

錯選項

為什麼其他選項是錯的

B重新加權訓練樣本以平衡資料分布代表性

字面在說什麼

把訓練資料裡各族群的樣本重新給予不同權重,讓本來資料偏少的族群在訓練時得到更多「發言權」。

為什麼不對

這是偏見緩解中「訓練前處理(Pre-processing)」的典型手段。它的目的是修正不平衡,而不是診斷是否有不平衡。已確認偏見存在之後才會啟動這個動作。

誰會選錯

看到「資料分布」就直覺跟「偵測資料分布偏差」連結在一起的人。但加權是修正動作,不是量測動作。

C在推論階段加入輸出過濾規則

字面在說什麼

模型跑完之後,用額外規則過濾或調整輸出結果,避免某些不當的預測結果直接送出去。

為什麼不對

這是偏見緩解中「後處理(Post-processing)」的方式。輸出過濾是在「已知有問題」的前提下加的防護,屬於緩解手段,不是診斷手段。

誰會選錯

認為「加過濾規則是為了確認有沒有問題」的人。過濾規則是攔截動作,不是量測動作,攔截之前通常已經知道要攔什麼了。

D調整模型決策閾值(Decision Threshold)以降低預測差異

字面在說什麼

把「模型認定通過的信心門檻」調高或調低,讓某族群的通過率和另一族群更接近。

為什麼不對

調整閾值是偏見緩解的後處理方法之一。「降低預測差異」說明它的目標是修正差距,是修正動作。偵測只是量出差距有多大,不會去「降低」它。

誰會選錯

看到題目說「降低預測差異」就覺得這是在處理偏見問題、符合題意的人。題目問的是「偵測」,調閾值是「修正」,兩件事方向相反。

變形題

同個考點下次怎麼變形

延伸

想再往下看,這 5 個

答案、題目或解析有問題?回報這題

出處:iPAS 經濟部產業人才能力鑑定 ・ 115 年第一次 iPAS AI 應用規劃師 初級 科目二 生成式 AI 應用與規劃 第 41 題

看官方原文 PDF

原題 © 經濟部產業發展署,AITerms.tw 僅作教學解析使用,本站解析以 CC BY-NC-SA 4.0 授權。