iPAS 考題解析在文本資料處理過程中，通常會需要「將接續的文本轉換為詞彙單位」，以便後續的處理。請問上述所指的是文本資料處理中的哪一個方法？

解析

正確答案：C. 斷詞（Tokenization）

斷詞（Tokenization）是將連續文本拆分為最小詞彙單位（token）的過程，是 NLP 管線的第一步。詞形還原是將詞彙還原到原形；停用詞移除是過濾無意義詞彙；TF-IDF 是特徵加權方法。

每個選項為什麼對或錯

• A 詞形還原（Lemmatization） 錯誤選項

  詞形還原是將詞彙還原為原始形式，非轉換為詞彙單位。

• B 停用詞移除（Stopword Removal） 錯誤選項

  停用詞移除是刪除無意義詞彙，非斷詞。

• C 斷詞（Tokenization） 正解

  斷詞（Tokenization）將文本拆分為詞彙單位，此為正確答案。

• D 詞頻-逆向文件頻率（Term Frequency-Inverse Document Frequency, TF-IDF） 錯誤選項

  TF-IDF 是特徵加權方法，非文本分割方法。

答案、題目或解析有問題？回報這題

題目 © 經濟部產業發展署，AITerms.tw 僅作教學解析使用，本站解析以 CC BY-NC-SA 4.0 授權。