AITerms 登入
自然語言處理特徵工程資料處理

TF-IDF(Term Frequency-Inverse Document Frequency)是什麼?

衡量一個詞對文件的重要性:在這篇文件中出現多(TF 高)但在其他文件中少見(IDF 高)的詞最重要

完整定義

TF-IDF(詞頻-逆文件頻率)是一種廣泛應用於資訊檢索與文本挖掘的統計方法,用於評估一個詞語對於一份文件集或一個語料庫中的其中一份文件的重要性。它結合了兩個主要指標:詞頻(Term Frequency, TF),衡量詞語在單一文件中出現的頻率;以及逆文件頻率(Inverse Document Frequency, IDF),衡量詞語在整個語料庫中的稀有程度。TF-IDF 值越高,表示該詞語在特定文件中越重要,同時在整個語料庫中越具有區分性。此方法常被用於搜尋引擎的關鍵詞權重計算、文本分類、摘要生成和推薦系統等領域,有效幫助機器理解文本內容的核心主題。

白話說明

你有沒有想過,文字送進模型前,為什麼總要先切一刀、再整理一下?

你可以把它想成把文字整理成模型看得懂的單位。

TF-IDF 的重點是 衡量一個詞對文件的重要性:在這篇文件中出現多(TF 高)但在其他文件中少見(IDF 高)的詞最重要

它重要,是因為後面的分類、摘要、搜尋或生成,幾乎都靠這一步打底。

記住這句

先切文字,再談語意。

比喻:TF-IDF 就像一個圖書館管理員 -- 他知道「書」這個字到處都有,沒什麼特別;但如果一本書裡「量子物理」出現很多次,而別的書很少有,那他就知道這本書的主題八成跟量子物理有關,這個詞很重要。

容易混淆

TF-IDF vs 詞袋模型

TF-IDF:偏向 把文字整理成模型可用的單位

詞袋模型:偏向 只看詞出現,不看順序

最關鍵的區別:TF-IDF看的是「把文字整理成模型可用的單位」,詞袋模型看的是「只看詞出現,不看順序」。

TF-IDF vs 餘弦相似度

TF-IDF:偏向 把文字整理成模型可用的單位

餘弦相似度:偏向 衡量向量角度的相似度

最關鍵的區別:TF-IDF看的是「把文字整理成模型可用的單位」,餘弦相似度看的是「衡量向量角度的相似度」。

實際案例

案例:客服信件先做詞幹或子詞切分

再送進分類模型,比直接硬吃原文更穩

案例:長篇會議紀錄先做摘要

管理者不用看完整文章,也能抓到重點

演算法與應用

先把詞、子詞或詞幹整理好,模型才有穩定輸入

文字表示方法不同,後面的分類和搜尋效果會差很多

常見任務是分類、摘要、翻譯和關鍵詞萃取

情境判斷

Q1(直覺題): 你要把一堆客服留言分成抱怨、詢問和稱讚,應該先做什麼?

先把文字切成模型能處理的單位,再做分類。

Q2(判斷題): 遇到超長中文句子和很多新詞時,還能沿用同一種切法嗎?

看情況,切分方式要跟語言和任務一起調,不然效果可能會掉。

常見問題

出現在這些考古題

官方公告試題的逐題解析裡,這 1 題把TF-IDF列為延伸術語。

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本