iPAS 考題解析
某企業計畫應用BERT（Bidirectional Encoder Representations from Transformers）模型分析大量顧客意見，以強化客服自動回覆系統。在BERT的預訓練過程中，「遮罩語言模型（Masked Language Model, MLM）」的主要訓練策略為何？
中級 人工智慧技術應用與規劃
難度：中等 ★★☆ 114 年考題
考試範圍定位
- 考試等級
- 中級能力鑑定
- 考試科目
- AI 技術應用與規劃
- 知識主題
- AI 相關技術應用
- 能力指標
- 自然語言處理技術與應用（L21101）
本題屬於 iPAS AI 應用規劃師中級能力鑑定「AI 技術應用與規劃」科目中的「AI 相關技術應用」範疇， 對應的能力指標為「自然語言處理技術與應用」，涵蓋NLP、文本分類、情感分析、NER、機器翻譯等核心知識點。 考生在準備這個範疇時，需要掌握相關的理論基礎與實務應用。
題目與選項
某企業計畫應用BERT（Bidirectional Encoder Representations from Transformers）模型分析大量顧客意見，以強化客服自動回覆系統。在BERT的預訓練過程中，「遮罩語言模型（Masked Language Model, MLM）」的主要訓練策略為何？
- A. 依序遮罩句尾詞語，讓模型從左到右逐步生成完整句子
- B. 隨機遮罩部分詞語，並讓模型根據雙向上下文（Bidirectional Context）預測被遮罩的詞 ✓ 正確答案
- C. 透過對抗訓練（Adversarial Training）生成語意相似的擾動樣本以提升泛化性
- D. 以未遮罩的詞為條件，使用解碼器（Decoder）結構重建整句內容
詳細解析
正確答案：B. 隨機遮罩部分詞語，並讓模型根據雙向上下文（Bidirectional Context）預測被遮罩的詞
BERT的MLM策略隨機遮罩約15%的詞，讓模型同時利用左右雙向的上下文來預測被遮罩詞，從而學習到深度雙向語言表徵。這與GPT等單向模型的訓練方式本質不同。
各選項逐一解析
理解每個選項為什麼對或錯，是真正掌握這個知識點的關鍵。以下逐一分析每個選項的含義與判斷依據。
A. 依序遮罩句尾詞語，讓模型從左到右逐步生成完整句子 （不正確）
從左到右依序生成屬於自迴歸語言模型（如GPT）的訓練方式，非BERT的MLM。
B. 隨機遮罩部分詞語，並讓模型根據雙向上下文（Bidirectional Context）預測被遮罩的詞 （正確）
BERT MLM的核心即為隨機遮罩並利用雙向上下文預測，正確描述了其訓練策略。
C. 透過對抗訓練（Adversarial Training）生成語意相似的擾動樣本以提升泛化性 （不正確）
對抗訓練是另一種提升魯棒性的方法，並非BERT預訓練的核心策略。
D. 以未遮罩的詞為條件，使用解碼器（Decoder）結構重建整句內容 （不正確）
BERT是純編碼器架構，不使用解碼器結構重建句子。
延伸學習
本題尚未連結特定術語，你可以從以下常見主題開始探索相關知識。
中等題備考建議
- ▶ 本題屬於中等難度，需要理解概念之間的關聯與應用情境，不能只靠死背定義。
- ▶ 中等難度的題目常考「為什麼」和「怎麼用」，建議整理各技術的優缺點比較表。
- ▶ 練習時注意錯誤選項的陷阱設計，很多時候錯誤選項只有一兩個字的差異，需要仔細辨別。
- ▶ 建議用「費曼學習法」，嘗試向別人解釋這道題的解題思路，能講清楚就代表真正理解了。
同主題考題練習
以下題目與本題屬於相同的考試範疇，建議一併練習以加強對該主題的掌握程度。
某企業即將部署 AI 模型至現有營運系統，進入系統整合測試階段。測試工程師需確認所有模組在實際環境中能正確協同運作。下列哪項驗證最應優先執行？
中級 人工智慧技術應用與規劃 難度 ★★☆ 114 年
在訓練模型時，若數據中出現特徵尺度差異極大（例如：年齡為 0–100、收入為 0–1,000,000），容易導致模型偏向特定特徵。為提升模型效能與穩定性，以下哪一種預處理方式最能有效解決此問題？
中級 人工智慧技術應用與規劃 難度 ★★☆ 114 年
某線上音樂平台希望根據用戶的聽歌與查詢行為，將用戶劃分為不同的類型。若事前沒有定義用戶類型，下列哪一種模型最適合用於此任務？
中級 人工智慧技術應用與規劃 難度 ★★☆ 114 年
iPAS AI 應用規劃師認證簡介
iPAS AI 應用規劃師能力鑑定是經濟部產業發展署推動的國家級 AI 證照制度， 分為「初級」與「中級」兩個等級。初級考試包含「人工智慧基礎概論」和「生成式 AI 應用與規劃」兩個科目， 著重基本概念的理解與應用。中級考試涵蓋「AI 技術應用與規劃」「大數據處理分析與應用」「機器學習技術與應用」三個科目， 要求考生具備更深入的技術知識與實務能力。 本題來自中級考試範圍，需要具備紮實的技術基礎才能正確作答。
開始準備 iPAS 考試
本題來自 114 年 AI 應用規劃師中級考試。 想通過 iPAS 認證？從完整題庫練習開始，搭配術語詞典與備考攻略，系統化提升你的 AI 知識。