某企業計畫應用BERT（Bidirectional Encoder Representations from Transformers）模型分析大量顧客意見，以強化客服自動回覆系統。在BERT的預訓練過程中，「遮罩語言模型（Masked Language Model, MLM）」的主要訓練策略為何？
iPAS 考題解析
某企業計畫應用BERT（Bidirectional Encoder Representations from Transformers）模型分析大量顧客意見，以強化客服自動回覆系統。在BERT的預訓練過程中，「遮罩語言模型（Masked Language Model, MLM）」的主要訓練策略為何？
- A. 依序遮罩句尾詞語，讓模型從左到右逐步生成完整句子
- B. 隨機遮罩部分詞語，並讓模型根據雙向上下文（Bidirectional Context）預測被遮罩的詞 ✓ 正確答案
- C. 透過對抗訓練（Adversarial Training）生成語意相似的擾動樣本以提升泛化性
- D. 以未遮罩的詞為條件，使用解碼器（Decoder）結構重建整句內容
詳細解析
BERT的MLM策略隨機遮罩約15%的詞，讓模型同時利用左右雙向的上下文來預測被遮罩詞，從而學習到深度雙向語言表徵。這與GPT等單向模型的訓練方式本質不同。
出題年份：114 難度：★★☆