iPAS 備考專區 登入

iPAS AI 應用規劃師 中級 科目三 機器學習技術與應用・114 年第二次・L23・第 30 題

情感分析模型跨語言後 F1 驟降,最合理的解釋是什麼?

原題

某情感分析模型在英文資料集上取得 macro F1-score = 0.91。當該模型部署於西班牙文資料集時,F1-score 驟降至 0.58。下列哪一項解釋最合理,且與 F1-score 變化相關?

白話

一個情感分析模型在英文資料集上的 macro F1-score 是 0.91,表現很好。但當同一個模型被用在西班牙文資料集時,F1-score 驟降到 0.58,表現大幅下滑。

問你:模型從英文切換到西班牙文後 F1 大幅下降,哪一項解釋最合理且與 F1-score 的計算直接相關?

一句話總結

模型跨語言後 F1 驟降,最合理的解釋是:語言轉移造成召回率(Recall)下降,模型無法正確辨識關鍵情緒詞彙,F1 是精確率和召回率的調和平均,當模型在新語言中遺漏大量情緒詞彙(召回率下降),F1 必然大幅下滑。

情境

先感受問題:「muy feliz」跟「very happy」一樣嗎?

你是一家跨國電商客服平台的 NLP 工程師。你們的情感分析模型用 500 萬筆英文評論訓練,能準確判斷「I love this product!」是正面情感(F1 = 0.91)。

行銷部門要求把同一個模型用在西班牙語市場的顧客評論上。結果 F1 驟降到 0.58:大量西班牙文評論被判斷為「中性」,實際上卻是非常正面或非常負面的情緒。

為什麼?

  • 模型在英文訓練時學到的情緒詞彙(excited、terrible、amazing)在西班牙文中完全不存在。
  • 西班牙文的情緒表達方式不同:強調詞(muy、bastante)、感嘆句語序、文化特有的比喻,模型從未見過。
  • 結果是:模型能辨識的情緒詞彙大幅減少,大量真正有情緒的句子被「錯過」,召回率(Recall)大幅下降。

召回率下降直接拉低 F1,這就是「語言轉移」問題的典型症狀。

舊方法

為什麼語言轉移會讓 F1 大幅下降

  1. 詞彙表不重疊:模型在英文上學到的詞向量(Word Embeddings)對西班牙文詞彙完全陌生,遇到未知詞時輸出隨機或中性預測,讓大量情緒樣本「逃脫」偵測。
  2. 語法結構差異:西班牙文是更靈活的語法語言(SOV vs SVO、形容詞位置不同),英文訓練的模型對西班牙文的情緒強調位置判斷失準。
  3. 文化特有情緒表達:不同語言文化有各自的情緒表達慣例(諷刺、誇張、委婉),模型在英文中學的情緒模式在西班牙文中可能根本不適用。
  4. 召回率首先受衝擊:模型傾向「謹慎」,在不確定的情況下預測中性,導致真正的正面/負面評論大量被遺漏(假負率升高、召回率下降)。
  5. F1 被召回率下降拖累:F1 = 2 × (Precision × Recall) / (Precision + Recall),召回率下降直接使 F1 大幅下滑,即使精確率維持也無法補救。

新方法

語言轉移如何解釋 F1 從 0.91 到 0.58

客服平台的場景讓我們看到 F1 驟降的機制:

  • 在英文上(F1 = 0.91):模型能辨識 91% 的情緒詞彙,精確率和召回率都高。
  • 換到西班牙文(F1 = 0.58):模型只認識少數借詞和命名實體(例如品牌名),大量西班牙文情緒詞彙被忽視或標為中性。
  • 召回率下降的具體表現:一則「¡Este producto es fantástico, lo recomiendo a todos!」(這個產品太棒了,我強烈推薦所有人!)被模型判為中性:它不認識 fantástico、recomiendo,也不理解「!」在西班牙文情緒表達中的強調意義。
  • F1 的計算揭示機制:macro F1 對每個類別計算 F1 再取平均。西班牙文中「正面」類別的召回率從 0.90 掉到 0.50(遺漏大半正面評論),「負面」召回率從 0.88 掉到 0.55,整體 macro F1 自然從 0.91 掉到約 0.58。

這就是選項 C 講的:語言轉移造成召回率(Recall)下降,模型無法正確辨識關鍵情緒詞彙。

錯選項

為什麼其他選項是錯的

Amacro F1-score 本身波動性高,建議改用 micro-average F1-score 評估

字面在說什麼

macro F1 計算每個類別的平均,如果樣本量不均衡,可能讓評估指標不穩定。

為什麼不對

F1 從 0.91 降到 0.58 這個幅度(0.33 的差距)不是指標波動性的問題:任何版本的 F1 都不可能有如此大的隨機波動。這是真實的效能衰退,不是評估指標選擇的問題。改用 micro F1 可能讓分數看起來不同,但無法解釋或解決為什麼模型在西班牙文上預測失準。

誰會選錯

聽過「macro 和 micro F1 的差別」但沒有深入理解它們的適用場景,看到「F1 指標問題」就想到換指標的人。題目的問題是「模型在新語言上表現差」,不是「選了不合適的評估指標」。

B模型在西班牙文語料上過度擬合,導致評估結果偏高

字面在說什麼

過擬合讓模型在訓練集上 F1 偏高,在其他資料上 F1 偏低。

為什麼不對

題目說的是「部署於西班牙文資料集時 F1 驟降」,這是在測試集上觀察到的現象,不是訓練集的過擬合問題。而且模型從未在西班牙文資料上訓練過(題目說是英文資料集訓練),更談不上在西班牙文上過擬合。「過擬合導致評估結果偏高」的說法在邏輯上也不通:過擬合讓評估結果偏低(在測試集上),而非偏高。

誰會選錯

看到「F1 變化」就聯想到「過擬合」的人,沒有注意到「西班牙文資料集」是模型從未見過的新語言,不是訓練時的資料。

D以均方誤差(MSE)取代 F1-score 評估可獲得更準確的結果

字面在說什麼

MSE 是迴歸問題的評估指標,衡量預測值和真實值的平均平方差。

為什麼不對

情感分析是分類問題(正面/負面/中性),F1 是分類任務的正確評估指標。MSE 用於迴歸問題(預測連續數值),完全不適合分類任務。把 MSE 套到分類問題,在技術上說不通,更無法「獲得更準確的結果」。這個選項是在混淆分類指標和迴歸指標。

誰會選錯

對評估指標的適用範圍不熟悉,看到「評估效能」就直覺選 MSE 的人。記住:分類問題用 F1/Accuracy/AUC;迴歸問題用 MSE/RMSE/MAE;兩者不混用。

變形題

同個考點下次怎麼變形

延伸

想再往下看,這 5 個

答案、題目或解析有問題?回報這題

出處:iPAS 經濟部產業人才能力鑑定 ・ 114 年第二梯次 iPAS AI 應用規劃師 中級 科目三 機器學習技術與應用 第 30 題

看官方原文 PDF

原題 © 經濟部產業發展署,AITerms.tw 僅作教學解析使用,本站解析以 CC BY-NC-SA 4.0 授權。