iPAS 備考專區 登入

iPAS AI 應用規劃師 中級 科目一 AI 技術應用與規劃・114 年第二次・L21・第 42 題

模型上線後分類錯誤率飆升,最適合用什麼策略應對?

原題

若部署一個深度學習模型至金融風控系統,該模型採用鑑別式架構(如 Transformer Classifier)。然而上線後,模型對新樣本的分類錯誤率顯著上升,經檢查發現,輸入資料分佈已與原訓練集明顯不同。針對此情形,下列哪一種應對策略最為適合?

白話

一家金融公司把深度學習模型部署到風控系統,負責判斷每筆交易「有沒有風險」。模型架構是鑑別式(Discriminative)的分類器,例如 Transformer Classifier。

上線之後問題來了:模型分類錯誤率越來越高。去查才發現,現在進來的交易資料分佈,跟當初訓練時用的資料分佈差很多了。

問你:遇到這種「輸入資料分佈偏移」的情況,該採取哪個應對策略?

一句話總結

資料分佈偏移(Data Drift)要先「偵測」才能「應對」。最適合的策略是:用變分自編碼器(VAE,Variational Autoencoder)監控潛在空間的分佈變化,及時發出警報,而不是貿然換模型或擴大模型容量。

情境

先感受問題:明明沒改模型,錯誤率卻悄悄飆高

假設「聯信金控」風控團隊在 2024 年 Q1 用當時的交易資料訓練了一個 Transformer 分類器,專門判斷每筆交易是「正常」還是「可疑」。上線時準確率 97%,大家很滿意。

到了 2025 年 Q1,新型態行動支付爆炸性成長,交易金額分佈、消費地點、裝置指紋全都跟 2024 年差很多。這時候模型看到的「新資料」,跟它訓練時見過的「舊資料」差距越來越大:

2024 資料:平均交易金額 800 元,網路購物占 40%,ATM 提款占 30%

2025 資料:平均交易金額 2,500 元,行動支付占 70%,跨境交易占 25%

模型完全沒有看過「2025 年的交易長什麼樣」,於是開始亂判。但問題是:你要怎麼知道是「資料分佈偏移」造成的,而不是模型本身壞掉?

這就需要一個能「監控輸入資料長什麼樣」的機制,而不是直接換模型。

舊方法

為什麼直覺反應都是錯的

工程師看到「模型錯誤率高」,直覺會想做這些事。但在資料分佈偏移的情境下,全都是錯的:

  1. 貿然換成更簡單的模型(如邏輯迴歸):模型容量縮小,對更複雜的新型態交易更沒辦法學習,只會讓準確率雪上加霜,而且換模型需要重新上線驗證,代價極高。
  2. 增加模型容量(加層數、加參數):資料分佈都偏掉了,就算你把模型做得再大,餵的還是「舊分佈的資料」,大模型只會把舊分佈記得更牢,對新分佈仍然無效。
  3. 直接用 GAN 生成新樣本:GAN 本身就需要知道「新分佈長什麼樣」才能生成有意義的樣本。如果還不清楚偏移發生在哪裡,GAN 生出來的資料很可能跟真實新分佈差很遠。
  4. 忽略資料問題,只看指標:錯誤率高了才發現,這時候已經讓假警報或漏網詐欺發生了一段時間,金融損失可能已經造成。
  5. 直接把新資料打標後重訓:標新資料非常耗時,而且在搞清楚偏移的性質之前,打標方向可能不對。正確做法是先偵測、再決定要怎麼應對。

新方法

VAE 當感測器:先偵測分佈,再決定行動

回到「聯信金控」。正確的策略是在分類器旁邊,平行部署一個 VAE 作為「資料健康監控器」:

第一步,VAE 在訓練期間學習「正常交易資料長什麼樣」,把它壓縮成一個潛在空間(Latent Space)分佈。正常交易在這個空間裡應該集中在某個區域。

第二步,上線後每一批新進來的交易資料,也讓 VAE 把它們投影到潛在空間,看落點在哪裡。

2024 年正常區:潛在空間座標集中在 (0.1, 0.3) 附近,半徑 0.2

2025 年新資料:落點開始漂移到 (0.8, 1.2) 附近,偏離原本的叢集

一旦偵測到潛在空間分佈明顯漂移,系統就能主動發警報:「輸入資料分佈已偏移,分類結果可能不可靠,請人工審核或啟動重訓流程。」

這樣的好處是:不需要等到錯誤率飆高才知道有問題,而是在偏移發生的早期就抓到,讓團隊有時間決定「要繼續用舊模型搭配人工審核」、「要重新採集標注資料」還是「要做領域適應(Domain Adaptation)微調」。

這就是選項 D 講的:使用變分自編碼器(VAE)監控潛在空間分佈,偵測輸入資料偏移。

錯選項

為什麼其他選項是錯的

A改用生成對抗網路(GAN)生成新樣本並混入訓練集

字面在說什麼

用 GAN 製造出「新型態」的合成交易資料,混進訓練集,讓模型學習更廣泛的樣本。

為什麼不對

這個策略的前提是「你已經知道新分佈長什麼樣」,GAN 才能生成有代表性的新樣本。但題目的情境是剛發現資料分佈偏移,尚未搞清楚偏移的性質。在不清楚新分佈特徵的情況下讓 GAN 生成,很可能生成出跟真實新分佈完全不同的假資料,讓模型學了反而更歪。

誰會選錯

知道 GAN 可以做資料增強(Data Augmentation)的考生,直覺覺得「GAN 生新資料讓模型學」是好策略。GAN 確實可以做資料增強,但需要先有充分的新分佈資料讓 GAN 學習,不是在偏移剛發生時立刻有用。

B改用邏輯迴歸模型(Logistic Regression)以提升穩定性

字面在說什麼

把複雜的 Transformer 分類器換成更簡單的邏輯迴歸(Logistic Regression),因為簡單模型更穩定。

為什麼不對

模型的穩定性和容量高低無關。資料分佈偏移是「輸入資料的性質改變了」,這個問題換成更簡單的模型完全不能解決,反而因為邏輯迴歸建模能力更弱,對偏移後的新型態交易更難正確分類。簡單模型不是更穩,是更不夠用。

誰會選錯

認為「複雜模型容易過擬合,不穩定,簡單模型更可靠」的考生。過擬合問題和分佈偏移問題是不同的病,對應的藥也不同。這題的核心是偵測並應對分佈偏移,不是解決過擬合。

C增加模型容量(Model Capacity),以學習更多樣本差異

字面在說什麼

把模型做更大(更多層、更多參數),讓它有能力學習更多元的樣本模式,包括新分佈的資料。

為什麼不對

模型容量影響的是「能學的模式的複雜程度」,但不能幫它學到「它根本沒見過的新分佈」。訓練資料還是舊分佈的,模型就算做到再大,也是把舊分佈記得更牢,對新分佈的泛化能力不會增加。這是用錯了藥。

誰會選錯

以為「模型不夠強所以才分類錯」的考生。資料分佈偏移的問題根源是資料改變了,不是模型不夠強。模型容量做大是解決「模型太簡單、表達力不足」的問題,不是解決分佈偏移的問題。

變形題

同個考點下次怎麼變形

延伸

想再往下看,這 5 個

答案、題目或解析有問題?回報這題

出處:iPAS 經濟部產業人才能力鑑定 ・ 114 年第二次 iPAS AI 應用規劃師 中級 科目一 第 42 題

看官方原文 PDF

原題 © 經濟部產業發展署,AITerms.tw 僅作教學解析使用,本站解析以 CC BY-NC-SA 4.0 授權。