搜尋意圖： 如果你在找「BERT 是什麼」、「BERT 會怎麼考」或「BERT 和相近概念差在哪」，先看這頁的定義、考點定位與延伸比較。
TL;DR： Google 的雙向語言模型，用 MLM（遮罩）和 NSP 預訓練，擅長理解文本語意
實用情境： 適合用在 iPAS 複習、面試快查與閱讀 AI 文章時快速校正概念邊界。
下一步： 先讀完定義，再往下看延伸比較與對應工具，把概念轉成實際應用。
你在做文本理解，想讓模型同時看前後文時，你會怎麼判斷它真正的作用？
你可以把它想成 Google 的雙向語言模型，用 MLM（遮罩）和 NSP 預訓練，擅長理解文本語意。
在 你在做文本理解，想讓模型同時看前後文時 這種情境裡，這個概念會直接影響你怎麼設計、怎麼評估、怎麼上線。
容易混淆
BERT vs GPT BERT 偏理解，GPT 偏生成，一個看前後文，一個主要沿著前文往下寫。
編碼器 vs 解碼器 BERT 是編碼器路線，擅長表徵文本；解碼器路線則擅長逐字生成。
MLM vs 因果預測 MLM 會把字遮起來讓模型補空格，因果預測則是依序猜下一個 token。
記住這句就好
先看它要解決的是什麼問題，再看它是不是最合適的方法。
實際案例
案例 1：搜尋理解 使用者輸入「台北到高雄火車票」，BERT 可以更好抓到整句意圖，而不只是拆字比對。
案例 2：情緒分類 一句評論裡有反諷或轉折時，BERT 常比單向模型更容易看懂上下文。
算法與應用
面向 重點 核心 先做遮罩式預訓練，再拿去微調分類、問答、抽取等任務。 特點 雙向上下文讓它在理解任務上很強。 注意 原始版本計算成本不低，實務常搭配輕量化變體。
情境判斷
Q1（判斷題）： 如果你要做垃圾郵件分類，會不會直接拿 BERT 微調？ → 可以，這正是 BERT 很常見的用法，因為它很適合理解文本語意。
Q2（判斷題）： 如果你的任務是逐字寫文章，BERT 會是首選嗎？ → 不會，這時通常會選更擅長生成的因果語言模型。
常見問題
BERT 一定要預訓練嗎？
它最有價值的部分就是預訓練後再微調，直接從零開始通常效果和效率都差一些。
中文一定要先分詞嗎？
視實作而定，很多中文模型會直接用子詞切法，不一定走傳統分詞流程。
BERT 很吃算力怎麼辦？
可以用蒸餾、剪枝、量化，或直接選輕量版模型。
iPAS 考試出題分析
BERT 屬於 中級 範圍，建議和相關概念一起複習，而不是只背單一名詞定義。
常見一起複習的方向包含：自然語言處理模型架構、預訓練模型與遷移學習、深度學習在 NLP 的應用。