詞形還原 是什麼?
Lemmatization — 詞形還原 的完整解釋
詞形還原是自然語言處理中將單詞還原為其基本形式(詞元)的過程,考慮了單詞的語法和上下文。
容易混淆
詞形還原 vs 詞幹提取 詞形還原會查字典,詞幹提取只把尾巴砍掉。 一個重視正確詞形,一個重視速度。
詞形還原 vs 分詞 分詞是把句子切成詞,詞形還原是把詞變回基本形式。 一個在切開文字,一個在整理文字。
最關鍵的區別: 切詞和還原不是同一件事。
記住這句就好
先看懂詞,再把詞變回字典型。
實際案例
英文搜尋引擎 使用者搜 running 時,也能找到 run、runs、ran 相關文件,召回率通常會更好。
客服意圖分類 把 likes、liked、liking 都整理到同一語義底下,分類器比較不容易被詞形干擾。
深入了解
詞形還原通常需要詞典或語言規則,處理英文時會搭配詞性標註一起看。 它比詞幹提取準確,但速度較慢,也比較依賴語言工具品質。 對英文 NLP 很重要,對其他語言則要看詞形變化有多複雜。
情境判斷
Q1(直覺題): 如果你要做英文搜尋,想把不同詞形一起查到,該先考慮什麼?
→ 詞形還原,因為它能把不同變化收回同一詞元。
Q2(判斷題): 所有語言都適合用同一套詞形還原工具嗎?
→ 不一定,不同語言的詞形規則差很多,工具要跟語言配套。
相關術語
常見問題
詞形還原一定比詞幹提取好嗎?
不一定。詞形還原更準,但更慢;如果只是快速索引,詞幹提取也可能夠用。
詞形還原會不會把意思變錯?
如果詞典或詞性標註不準,確實可能還原錯,所以工具品質很重要。
什麼情況最需要詞形還原?
英文搜尋、文本分類、資訊檢索這類需要合併詞形的任務最常見。