遮罩語言模型預測(MLM) Masked Language Modeling 一種自監督預訓練任務,隨機遮蔽輸入序列中的部分 token,讓模型依據上下文預測被遮蔽的原始詞,是 BERT 系列模型的核心訓練目標。 BERT預訓練自監督學習 遮罩語言模型預測(MLM) 是什麼?→