iPAS 考題解析某企業計畫應用BERT（Bidirectional Encoder Representations from Transformers）模型分析大量顧客意見，以強化客服自動回覆系統。在BERT的預訓練過程中，「遮罩語言模型（Masked Language Model, MLM）」的主要訓練策略為何？

解析

正確答案：B. 隨機遮罩部分詞語，並讓模型根據雙向上下文（Bidirectional Context）預測被遮罩的詞

BERT的MLM策略隨機遮罩約15%的詞，讓模型同時利用左右雙向的上下文來預測被遮罩詞，從而學習到深度雙向語言表徵。這與GPT等單向模型的訓練方式本質不同。

每個選項為什麼對或錯

• A 依序遮罩句尾詞語，讓模型從左到右逐步生成完整句子 錯誤選項

  從左到右依序生成屬於自迴歸語言模型（如GPT）的訓練方式，非BERT的MLM。

• B 隨機遮罩部分詞語，並讓模型根據雙向上下文（Bidirectional Context）預測被遮罩的詞 正解

  BERT MLM的核心即為隨機遮罩並利用雙向上下文預測，正確描述了其訓練策略。

• C 透過對抗訓練（Adversarial Training）生成語意相似的擾動樣本以提升泛化性 錯誤選項

  對抗訓練是另一種提升魯棒性的方法，並非BERT預訓練的核心策略。

• D 以未遮罩的詞為條件，使用解碼器（Decoder）結構重建整句內容 錯誤選項

  BERT是純編碼器架構，不使用解碼器結構重建句子。

答案、題目或解析有問題？回報這題

題目 © 經濟部產業發展署，AITerms.tw 僅作教學解析使用，本站解析以 CC BY-NC-SA 4.0 授權。