iPAS 考題解析TF-IDF 在處理長文本時的主要問題為何?
你的作答
在題目頁作答不會存進學習紀錄,想留下紀錄可以到題庫練習。
解析
正確答案:A. 詞頻偏高導致常見詞權重過大
長文本中,某些常見詞(如「的」、「是」)出現次數很多,TF(詞頻)會偏高,導致這些不太重要的詞反而獲得過大的權重,影響分析結果。
每個選項為什麼對或錯
-
A 詞頻偏高導致常見詞權重過大 正解
Correct: 在長文本中,一些常見但語義價值不高的詞(如「的」、「是」、「一個」)會因為出現次數多而有很高的詞頻(TF),即使 IDF 較低,整體 TF-IDF 權重仍可能過大,影響對關鍵詞的識別。
-
B 缺乏句子邊界識別能力 錯誤選項
Incorrect: TF-IDF 是一種基於詞袋模型(Bag-of-Words)的統計方法,它關注的是詞的頻率和重要性,本身就不具備句子邊界識別能力,這不是它在處理長文本時的「主要問題」,而是其設計範疇。
-
C 無法同時處理多份文件 錯誤選項
Incorrect: 恰好相反,TF-IDF 的 IDF 部分(逆文件頻率)就是為了衡量一個詞在「多份文件」中的稀有程度。它正是設計來處理和比較多份文件的。
-
D IDF 計算方式會因文本長度而改變 錯誤選項
Incorrect: IDF(逆文件頻率)的計算是基於詞在整個文件集合中出現的文件數量,而不是單篇文本的長度。單篇文本的長度只會影響 TF(詞頻)的計算。
答案、題目或解析有問題?回報這題