BERT 的 MLM (Masked Language Model) 訓練策略為何？

iPAS 考題解析

BERT 的 MLM (Masked Language Model) 訓練策略為何？

  • A. 依序遮罩句尾詞語進行預測
  • B. 隨機遮罩部分詞語，利用雙向上下文預測被遮罩的詞 ✓ 正確答案
  • C. 使用對抗訓練產生遮罩
  • D. 透過解碼器重建整個句子

詳細解析

BERT 的 MLM 會隨機遮住句子中約 15% 的詞，然後讓模型同時看左邊和右邊的上下文來猜被遮住的詞，這就是「雙向」的意義。

難度：★★★