AITerms 登入
深度學習自然語言處理自監督學習

遮蔽語言模型(Masked Language Model)是什麼?

遮蔽語言模型(MLM)是一種自監督學習方法,隨機遮蔽輸入文本的部分詞語,並訓練模型預測這些被遮蔽的詞語。

完整定義

遮蔽語言模型(Masked Language Model,MLM)是一種自監督學習技術,用於訓練語言模型。它通過隨機遮蔽輸入文本中的部分詞語,並訓練模型預測這些被遮蔽的詞語,從而使模型能夠學習到上下文語義資訊。MLM是BERT等預訓練語言模型的關鍵組成部分。

白話說明

你有沒有做過填空題,少掉幾個字也還是能猜出整句意思?

你可以把遮蔽語言模型想成,先把句子挖空,再讓模型把空格填回來。

它其實就是透過預測被遮蔽的詞來學語言。

這種方式很適合學上下文和雙向語意。

記住這句

先把字挖掉,再逼模型補回來。

比喻:遮蔽語言模型就像在玩填字遊戲 -- 你給它一句話,但把裡面某些字挖空,然後讓它去猜被挖空的字是什麼。透過不斷猜對這些字,它就能學會語言的上下文關係和語法,變成語言大師。

容易混淆

MLM vs 因果語言模型

MLM 看雙向上下文,因果語言模型通常只看前文。

一個像整句填空,一個像接龍。

MLM vs 完形填空任務

完形填空是題型,MLM 是訓練方法。

一個是考試形式,一個是學習方式。

最關鍵的區別: 題型和訓練方法不是同一件事。

實際案例

BERT 預訓練

BERT 就常用 MLM 學到雙向上下文,讓它更懂句子語意。

文字理解模型

當你要做分類或檢索前的表徵學習,MLM 很常是前置訓練任務。

演算法與應用

常見做法是隨機遮住部分 token,讓模型根據左右文預測原詞。

因為能看左右兩邊,它比單向接龍更擅長理解語境。

這也是 BERT 類模型的重要預訓練任務。

中英對照與常見說法

說法
遮蔽語言模型
出現場合
台灣正式用語
說法
掩码语言模型
出現場合
簡體寫法
說法
Masked Language Model
出現場合
英文原名
說法
MLM
出現場合
標準縮寫,注意這個縮寫在商業領域另指多層次傳銷,不同領域同名
說法
克漏字任務、完形填空
出現場合
用來說明它在做什麼的比喻說法

跟自回歸語言模型的根本差別

一句話的區別:一個是克漏字,一個是接龍。雙向上下文是遮蔽語言模型在理解任務上長期占優的原因,也是它不能直接拿來生成的原因。

訓練目標
遮蔽語言模型(如 BERT)
蓋住句中部分詞,預測被蓋住的是什麼
自回歸語言模型(如 GPT 系列)
依前文預測下一個詞
看得到的上下文
遮蔽語言模型(如 BERT)
左右兩邊都看得到
自回歸語言模型(如 GPT 系列)
只看得到左邊
天生擅長
遮蔽語言模型(如 BERT)
理解類任務:分類、抽取、標註
自回歸語言模型(如 GPT 系列)
生成類任務:寫作、對話、續寫
直接拿來生成
遮蔽語言模型(如 BERT)
不適合,它沒有逐字往下生成的機制
自回歸語言模型(如 GPT 系列)
適合

BERT 的遮蔽策略細節

BERT 隨機挑 15% 的 token 當作預測目標,但這 15% 裡面又分三種處理:

這個設計是為了處理預訓練與微調的落差:訓練時句子裡有 [MASK],實際使用時沒有。後兩種處理就是在縮小這個落差。

後續改良包括 全詞遮蔽(whole word masking),把同一個詞被切開的多個子詞一起遮住,避免模型靠半個詞猜另外半個;以及 SpanBERT 的連續片段遮蔽,讓任務更難也更貼近下游的抽取需求。

比例
80%
處理方式
換成 [MASK] 特殊符號
理由
主要的訓練訊號
比例
10%
處理方式
換成一個隨機的詞
理由
強迫模型對每個位置都保持懷疑,不能只在看到 [MASK] 時才動腦
比例
10%
處理方式
保持原詞不動
理由
讓模型的表示偏向真實輸入的分布

現在還用得到嗎

大型語言模型興起後,生成任務幾乎都用自回歸架構。但遮蔽語言模型在幾個地方仍然常用:需要句向量的場景(檢索、相似度比對,BERT 系列的雙向表示品質好且模型小)、序列標註(命名實體識別、詞性標註)、以及延遲與成本敏感的線上分類服務。一個幾億參數的編碼器模型能在毫秒級完成分類,這是大型語言模型做不到的。

情境判斷

Q1(直覺題): 句子中間少掉一個詞,模型要根據前後文猜回來,這像什麼任務?

這就是遮蔽語言模型的典型訓練方式。

Q2(判斷題): 只要是填空題,就一定代表模型用了 MLM 嗎?

不一定,填空是題型,MLM 是一種訓練策略。

常見問題

出現在這些考古題

官方公告試題的逐題解析裡,這 1 題把遮蔽語言模型列為延伸術語。

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本