iPAS 備考專區 登入

iPAS AI 應用規劃師題庫・中級・L21 AI 技術應用與規劃

iPAS 考題解析BERT 的 MLM (Masked Language Model) 訓練策略為何?

來源標記:114年第二梯次中級科目一

你的作答

解析

正確答案:B. 隨機遮罩部分詞語,利用雙向上下文預測被遮罩的詞

BERT 的 MLM 會隨機遮住句子中約 15% 的詞,然後讓模型同時看左邊和右邊的上下文來猜被遮住的詞,這就是「雙向」的意義。

每個選項為什麼對或錯

  • A 依序遮罩句尾詞語進行預測 錯誤選項

    BERT 是隨機遮罩而非依序遮罩句尾

  • B 隨機遮罩部分詞語,利用雙向上下文預測被遮罩的詞 正解

  • C 使用對抗訓練產生遮罩 錯誤選項

    MLM 不使用對抗訓練,對抗訓練是 GAN 的概念

  • D 透過解碼器重建整個句子 錯誤選項

    BERT 是 Encoder-only 架構,不使用解碼器來重建句子

答案、題目或解析有問題?回報這題

題目 © 經濟部產業發展署,AITerms.tw 僅作教學解析使用,本站解析以 CC BY-NC-SA 4.0 授權。