AITerms 登入
自然語言處理深度學習模型訓練

次詞單元化(Subword Tokenization)是什麼?

次詞單元化是將單詞拆分為更小的子單元(次詞)的技術,用於解決詞彙量過大和未登錄詞(OOV)問題,提升模型泛化能力。

完整定義

次詞單元化是一種自然語言處理技術,旨在將單詞分解成更小的、有意義的子單元,稱為次詞。這種方法主要用於解決詞彙量過大以及處理未登錄詞(Out-of-Vocabulary,OOV)的問題。通過將罕見詞分解為常見的次詞,模型可以更好地理解和生成文本,提高泛化能力。

白話說明

你有沒有想過,文字送進模型前,為什麼總要先切一刀、再整理一下?

你可以把它想成把文字整理成模型看得懂的單位。

次詞單元化 的重點是 次詞單元化是將單詞拆分為更小的子單元(次詞)的技術,用於解決詞彙量過大和未登錄詞(OOV)問題,提升模型泛化能力。

它重要,是因為後面的分類、摘要、搜尋或生成,幾乎都靠這一步打底。

記住這句

先切文字,再談語意。

比喻:次詞單元化就像一個聰明的積木玩家 -- 它不會把「機器人」當成一個完整的積木,而是拆成「機」、「器」、「人」這些小積木,這樣遇到「機器學習」這種新詞也能用現有的積木拼出來。

容易混淆

次詞單元化 vs 分詞

次詞單元化:偏向 把文字整理成模型可用的單位

分詞:偏向 把文字切開的前置步驟

最關鍵的區別:次詞單元化看的是「把文字整理成模型可用的單位」,分詞看的是「把文字切開的前置步驟」。

次詞單元化 vs 語言模型

次詞單元化:偏向 把文字整理成模型可用的單位

語言模型:偏向 會預測文字的基礎模型

最關鍵的區別:次詞單元化看的是「把文字整理成模型可用的單位」,語言模型看的是「會預測文字的基礎模型」。

實際案例

案例:客服信件先做詞幹或子詞切分

再送進分類模型,比直接硬吃原文更穩

案例:長篇會議紀錄先做摘要

管理者不用看完整文章,也能抓到重點

演算法與應用

先把詞、子詞或詞幹整理好,模型才有穩定輸入

文字表示方法不同,後面的分類和搜尋效果會差很多

常見任務是分類、摘要、翻譯和關鍵詞萃取

情境判斷

Q1(直覺題): 你要把一堆客服留言分成抱怨、詢問和稱讚,應該先做什麼?

先把文字切成模型能處理的單位,再做分類。

Q2(判斷題): 遇到超長中文句子和很多新詞時,還能沿用同一種切法嗎?

看情況,切分方式要跟語言和任務一起調,不然效果可能會掉。

常見問題

出現在這些考古題

官方公告試題的逐題解析裡,這 1 題把次詞單元化列為延伸術語。

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本