自回歸模型 vs 遮蔽語言模型
Autoregressive Model vs Masked Language Model
自回歸模型 側重 依序根據前面所有輸出預測下一個元素的生成式模型架構。，而 遮蔽語言模型 側重 遮蔽語言模型（MLM）是一種自監督學習方法，隨機遮蔽輸入文本的部分詞語，並訓練模型預測這些被遮蔽的詞語。。
逐項比較
| 項目 | 自回歸模型 | 遮蔽語言模型 |
|---|---|---|
| 一句定義 | 依序根據前面所有輸出預測下一個元素的生成式模型架構。 | 遮蔽語言模型（MLM）是一種自監督學習方法，隨機遮蔽輸入文本的部分詞語，並訓練模型預測這些被遮蔽的詞語。 |
| 常見標籤 | 生成式AI、語言模型、GPT、序列生成、深度學習 | 深度學習、自然語言處理、自監督學習、模型訓練、大型語言模型、AI基礎 |
| iPAS 關聯度 | 未知 | 未知 |
| 考生最常問 | 自回歸模型為什麼只能從左到右生成，不能修改已生成的內容？ | MLM 為什麼能學雙向語意？ |