iPAS 考題解析
某企業導入大型語言模型作為客服助理。模型已具備穩定語言能力，但在回覆偏好一致性與組織規範遵循方面仍需優化，團隊因此規劃導入人類反饋強化學習（RLHF）流程，下列何者最不屬於 RLHF 階段的典型技術活動？
初級 人工智慧基礎概論
難度：中等 ★★☆ 115 年考題
考試範圍定位
- 考試等級
- 初級能力鑑定
- 考試科目
- 人工智慧基礎概論
- 知識主題
- 機器學習概念
- 能力指標
- 常見的機器學習模型（L11302）
本題屬於 iPAS AI 應用規劃師初級能力鑑定「人工智慧基礎概論」科目中的「機器學習概念」範疇， 對應的能力指標為「常見的機器學習模型」，涵蓋監督式、非監督式、半監督式、強化式、多模態、深度學習等核心知識點。 考生在準備這個範疇時，需要掌握相關的理論基礎與實務應用。
題目與選項
某企業導入大型語言模型作為客服助理。模型已具備穩定語言能力，但在回覆偏好一致性與組織規範遵循方面仍需優化，團隊因此規劃導入人類反饋強化學習（RLHF）流程，下列何者最不屬於 RLHF 階段的典型技術活動？
- A. 透過人工評估方式建立偏好資料，使模型的不同候選輸出可反映人類主觀品質差異
- B. 訓練一個能依據人類偏好判斷輸出品質的模型，作為模型優化過程中的回饋依據
- C. 依據品質評估結果，調整模型生成策略，使其輸出更符合偏好導向的行為表現
- D. 以未標註語料為主進行長週期表示學習訓練，以提升模型基礎語言建模能力 ✓ 正確答案
詳細解析
正確答案：D. 以未標註語料為主進行長週期表示學習訓練，以提升模型基礎語言建模能力
RLHF 流程包含三個階段：收集人類偏好資料、訓練獎勵模型、用強化學習優化生成策略。以未標註語料進行基礎語言建模屬於預訓練階段，不屬於 RLHF 的技術活動。
各選項逐一解析
理解每個選項為什麼對或錯，是真正掌握這個知識點的關鍵。以下逐一分析每個選項的含義與判斷依據。
A. 透過人工評估方式建立偏好資料，使模型的不同候選輸出可反映人類主觀品質差異 （不正確）
收集人類偏好資料是 RLHF 的第一步，屬於典型技術活動。
B. 訓練一個能依據人類偏好判斷輸出品質的模型，作為模型優化過程中的回饋依據 （不正確）
訓練獎勵模型（Reward Model）來判斷輸出品質是 RLHF 的第二步。
C. 依據品質評估結果，調整模型生成策略，使其輸出更符合偏好導向的行為表現 （不正確）
透過強化學習調整生成策略是 RLHF 的第三步。
D. 以未標註語料為主進行長週期表示學習訓練，以提升模型基礎語言建模能力 （正確）
以未標註語料進行預訓練屬於基礎模型訓練，不屬於 RLHF 階段（正確答案）。
本題涉及的 AI 術語
深入理解以下術語，有助於掌握本題背後的核心概念，也能幫助你在遇到相似題目時更快判斷正確答案。
中等題備考建議
- ▶ 本題屬於中等難度，需要理解概念之間的關聯與應用情境，不能只靠死背定義。
- ▶ 中等難度的題目常考「為什麼」和「怎麼用」，建議整理各技術的優缺點比較表。
- ▶ 練習時注意錯誤選項的陷阱設計，很多時候錯誤選項只有一兩個字的差異，需要仔細辨別。
- ▶ 建議用「費曼學習法」，嘗試向別人解釋這道題的解題思路，能講清楚就代表真正理解了。
同主題考題練習
以下題目與本題屬於相同的考試範疇，建議一併練習以加強對該主題的掌握程度。
iPAS AI 應用規劃師認證簡介
iPAS AI 應用規劃師能力鑑定是經濟部產業發展署推動的國家級 AI 證照制度， 分為「初級」與「中級」兩個等級。初級考試包含「人工智慧基礎概論」和「生成式 AI 應用與規劃」兩個科目， 著重基本概念的理解與應用。中級考試涵蓋「AI 技術應用與規劃」「大數據處理分析與應用」「機器學習技術與應用」三個科目， 要求考生具備更深入的技術知識與實務能力。 本題來自初級考試範圍，適合正在準備初級認證的考生練習。
開始準備 iPAS 考試
本題來自 115 年 AI 應用規劃師初級考試。 想通過 iPAS 認證？從完整題庫練習開始，搭配術語詞典與備考攻略，系統化提升你的 AI 知識。