iPAS 考題解析BERT 的 MLM (Masked Language Model) 訓練策略為何?
你的作答
在題目頁作答不會存進學習紀錄,想留下紀錄可以到題庫練習。
解析
正確答案:B. 隨機遮罩部分詞語,利用雙向上下文預測被遮罩的詞
BERT 的 MLM 會隨機遮住句子中約 15% 的詞,然後讓模型同時看左邊和右邊的上下文來猜被遮住的詞,這就是「雙向」的意義。
每個選項為什麼對或錯
-
A 依序遮罩句尾詞語進行預測 錯誤選項
BERT 是隨機遮罩而非依序遮罩句尾
-
B 隨機遮罩部分詞語,利用雙向上下文預測被遮罩的詞 正解
-
C 使用對抗訓練產生遮罩 錯誤選項
MLM 不使用對抗訓練,對抗訓練是 GAN 的概念
-
D 透過解碼器重建整個句子 錯誤選項
BERT 是 Encoder-only 架構,不使用解碼器來重建句子
答案、題目或解析有問題?回報這題