iPAS AI 應用規劃師

iPAS 考題解析

TF-IDF 在處理長文本時的主要問題為何?

中級 人工智慧技術應用與規劃 難度:進階 ★★★

考試範圍定位

考試等級
中級能力鑑定
考試科目
AI 技術應用與規劃
知識主題
AI 相關技術應用
能力指標
自然語言處理技術與應用(L21101)

本題屬於 iPAS AI 應用規劃師中級能力鑑定「AI 技術應用與規劃」科目中的「AI 相關技術應用」範疇, 對應的能力指標為「自然語言處理技術與應用」,涵蓋NLP、文本分類、情感分析、NER、機器翻譯等核心知識點。 考生在準備這個範疇時,需要掌握相關的理論基礎與實務應用。

題目與選項

TF-IDF 在處理長文本時的主要問題為何?

  • A. 詞頻偏高導致常見詞權重過大 ✓ 正確答案
  • B. 缺乏句子邊界識別能力
  • C. 無法同時處理多份文件
  • D. IDF 計算方式會因文本長度而改變

詳細解析

正確答案:A. 詞頻偏高導致常見詞權重過大

長文本中,某些常見詞(如「的」、「是」)出現次數很多,TF(詞頻)會偏高,導致這些不太重要的詞反而獲得過大的權重,影響分析結果。

各選項逐一解析

理解每個選項為什麼對或錯,是真正掌握這個知識點的關鍵。以下逐一分析每個選項的含義與判斷依據。

A. 詞頻偏高導致常見詞權重過大 (正確)

Correct: 在長文本中,一些常見但語義價值不高的詞(如「的」、「是」、「一個」)會因為出現次數多而有很高的詞頻(TF),即使 IDF 較低,整體 TF-IDF 權重仍可能過大,影響對關鍵詞的識別。

B. 缺乏句子邊界識別能力 (不正確)

Incorrect: TF-IDF 是一種基於詞袋模型(Bag-of-Words)的統計方法,它關注的是詞的頻率和重要性,本身就不具備句子邊界識別能力,這不是它在處理長文本時的「主要問題」,而是其設計範疇。

C. 無法同時處理多份文件 (不正確)

Incorrect: 恰好相反,TF-IDF 的 IDF 部分(逆文件頻率)就是為了衡量一個詞在「多份文件」中的稀有程度。它正是設計來處理和比較多份文件的。

D. IDF 計算方式會因文本長度而改變 (不正確)

Incorrect: IDF(逆文件頻率)的計算是基於詞在整個文件集合中出現的文件數量,而不是單篇文本的長度。單篇文本的長度只會影響 TF(詞頻)的計算。

延伸學習

本題尚未連結特定術語,你可以從以下常見主題開始探索相關知識。

進階題備考建議

  • 本題屬於進階難度,涉及技術原理的深入理解或跨領域整合應用,需要紮實的基礎。
  • 進階題通常需要你綜合多個知識點才能判斷,建議建立知識圖譜,把相關概念串聯起來。
  • 如果這題答錯了,建議回頭複習相關的基礎概念,確保每一層知識都沒有漏洞。
  • 中級考試的進階題佔比較高,建議先把初級範圍的基礎打穩,再挑戰中級進階題。

同主題考題練習

以下題目與本題屬於相同的考試範疇,建議一併練習以加強對該主題的掌握程度。

iPAS AI 應用規劃師認證簡介

iPAS AI 應用規劃師能力鑑定是經濟部產業發展署推動的國家級 AI 證照制度, 分為「初級」與「中級」兩個等級。初級考試包含「人工智慧基礎概論」和「生成式 AI 應用與規劃」兩個科目, 著重基本概念的理解與應用。中級考試涵蓋「AI 技術應用與規劃」「大數據處理分析與應用」「機器學習技術與應用」三個科目, 要求考生具備更深入的技術知識與實務能力。 本題來自中級考試範圍,需要具備紮實的技術基礎才能正確作答。

開始準備 iPAS 考試

本題來自 iPAS AI 應用規劃師中級考試。 想通過 iPAS 認證?從完整題庫練習開始,搭配術語詞典與備考攻略,系統化提升你的 AI 知識。