iPAS 考題解析
TF-IDF 在處理長文本時的主要問題為何?
考試範圍定位
- 考試等級
- 中級能力鑑定
- 考試科目
- AI 技術應用與規劃
- 知識主題
- AI 相關技術應用
- 能力指標
- 自然語言處理技術與應用(L21101)
本題屬於 iPAS AI 應用規劃師中級能力鑑定「AI 技術應用與規劃」科目中的「AI 相關技術應用」範疇, 對應的能力指標為「自然語言處理技術與應用」,涵蓋NLP、文本分類、情感分析、NER、機器翻譯等核心知識點。 考生在準備這個範疇時,需要掌握相關的理論基礎與實務應用。
題目與選項
TF-IDF 在處理長文本時的主要問題為何?
- A. 詞頻偏高導致常見詞權重過大 ✓ 正確答案
- B. 缺乏句子邊界識別能力
- C. 無法同時處理多份文件
- D. IDF 計算方式會因文本長度而改變
詳細解析
正確答案:A. 詞頻偏高導致常見詞權重過大
長文本中,某些常見詞(如「的」、「是」)出現次數很多,TF(詞頻)會偏高,導致這些不太重要的詞反而獲得過大的權重,影響分析結果。
各選項逐一解析
理解每個選項為什麼對或錯,是真正掌握這個知識點的關鍵。以下逐一分析每個選項的含義與判斷依據。
A. 詞頻偏高導致常見詞權重過大 (正確)
Correct: 在長文本中,一些常見但語義價值不高的詞(如「的」、「是」、「一個」)會因為出現次數多而有很高的詞頻(TF),即使 IDF 較低,整體 TF-IDF 權重仍可能過大,影響對關鍵詞的識別。
B. 缺乏句子邊界識別能力 (不正確)
Incorrect: TF-IDF 是一種基於詞袋模型(Bag-of-Words)的統計方法,它關注的是詞的頻率和重要性,本身就不具備句子邊界識別能力,這不是它在處理長文本時的「主要問題」,而是其設計範疇。
C. 無法同時處理多份文件 (不正確)
Incorrect: 恰好相反,TF-IDF 的 IDF 部分(逆文件頻率)就是為了衡量一個詞在「多份文件」中的稀有程度。它正是設計來處理和比較多份文件的。
D. IDF 計算方式會因文本長度而改變 (不正確)
Incorrect: IDF(逆文件頻率)的計算是基於詞在整個文件集合中出現的文件數量,而不是單篇文本的長度。單篇文本的長度只會影響 TF(詞頻)的計算。
延伸學習
本題尚未連結特定術語,你可以從以下常見主題開始探索相關知識。
進階題備考建議
- ▶ 本題屬於進階難度,涉及技術原理的深入理解或跨領域整合應用,需要紮實的基礎。
- ▶ 進階題通常需要你綜合多個知識點才能判斷,建議建立知識圖譜,把相關概念串聯起來。
- ▶ 如果這題答錯了,建議回頭複習相關的基礎概念,確保每一層知識都沒有漏洞。
- ▶ 中級考試的進階題佔比較高,建議先把初級範圍的基礎打穩,再挑戰中級進階題。
同主題考題練習
以下題目與本題屬於相同的考試範疇,建議一併練習以加強對該主題的掌握程度。
某企業即將部署 AI 模型至現有營運系統,進入系統整合測試階段。測試工程師需確認所有模組在實際環境中能正確協同運作。下列哪項驗證最應優先執行?
在訓練模型時,若數據中出現特徵尺度差異極大(例如:年齡為 0–100、收入為 0–1,000,000),容易導致模型偏向特定特徵。為提升模型效能與穩定性,以下哪一種預處理方式最能有效解決此問題?
某線上音樂平台希望根據用戶的聽歌與查詢行為,將用戶劃分為不同的類型。若事前沒有定義用戶類型,下列哪一種模型最適合用於此任務?
iPAS AI 應用規劃師認證簡介
iPAS AI 應用規劃師能力鑑定是經濟部產業發展署推動的國家級 AI 證照制度, 分為「初級」與「中級」兩個等級。初級考試包含「人工智慧基礎概論」和「生成式 AI 應用與規劃」兩個科目, 著重基本概念的理解與應用。中級考試涵蓋「AI 技術應用與規劃」「大數據處理分析與應用」「機器學習技術與應用」三個科目, 要求考生具備更深入的技術知識與實務能力。 本題來自中級考試範圍,需要具備紮實的技術基礎才能正確作答。
開始準備 iPAS 考試
本題來自 iPAS AI 應用規劃師中級考試。 想通過 iPAS 認證?從完整題庫練習開始,搭配術語詞典與備考攻略,系統化提升你的 AI 知識。