完整定義
詞性標注(Part-of-Speech Tagging, POS Tagging)是自然語言處理(NLP)中的一項基本任務,旨在為給定文本中的每個詞彙分配其對應的詞性(Part-of-Speech, POS)。詞性包括名詞、動詞、形容詞、副詞、介詞、連詞等。詞性標注是許多更高級NLP任務的基礎,例如語法分析、資訊抽取和機器翻譯。
白話說明
你有沒有想過,一句話裡每個字到底是名詞、動詞,還是形容詞?
你可以把 詞性標注 想成 幫每個詞標上語法身分。
句子結構看得懂,後續分析才會穩,替每個詞標上詞性,句子結構才看得懂 這件事就特別重要。
記住這句
替每個詞標上詞性,句子結構才看得懂
比喻:詞性標注就像幫句子裡的每個字「貼上標籤」 -- 「蘋果」貼名詞、「吃」貼動詞、「紅色的」貼形容詞,這樣電腦就能像人一樣,知道每個字在句子裡扮演什麼角色。
容易混淆
詞性標注 vs 命名實體識別
詞性標注是標記字的語法屬性(名詞、動詞);命名實體識別是標記字的語義屬性(人名、地名、組織名),兩者都是理解文本的重要步驟。
最關鍵的區別:一個看語法位置,一個看專有名詞類型。
詞性標注 vs 命名實體辨識
詞性標注看語法角色,命名實體辨識看人名、地名、機構名
最關鍵的區別:一個看文法,一個看專有名詞。
實際案例
案例 1:新聞標題裡把動詞和名詞分開,方便後續分析
案例 2:聊天機器人先標詞性,再做句法解析和意圖判斷
演算法與應用
核心意思就是:替每個詞標上詞性,句子結構才看得懂。
常先配合斷詞、句法分析和語言模型一起做
標錯詞性時,後面的解析和抽取通常也會連帶受影響
情境判斷
Q2(判斷題): 一句話裡只想抓出人名,不想知道詞性,還需要它嗎?
看情況,如果後面還要做句法分析或規則抽取,詞性標注通常仍有幫助
常見問題
詞性標注的準確度通常使用準確率(Accuracy)來評估。 準確率是指詞性標注器正確標注的詞彙數量與總詞彙數量的比率。 此外,還可以使用精確率(Precision)、召回率(Recall)和F1值等指標來評估詞性標注器的性能。 這些指標可以更詳細地分析詞性標注器在不同詞性上的表現。
選擇合適的詞性標注器取決於具體的應用需求和可用的資源。 如果需要高準確度,可以選擇基於深度學習的詞性標注器。 如果資源有限,可以選擇基於規則或統計方法的詞性標注器。 此外,還需要考慮詞性標注器是否支持所需的語言和詞性標籤集。 預訓練模型通常是一個不錯的選擇,可以節省訓練時間。
中文詞性標注與英文詞性標注的主要區別在於中文需要先進行分詞。 中文沒有明顯的詞彙邊界,因此需要先使用分詞器將文本分割成詞彙,然後才能進行詞性標注。 此外,中文的語法結構與英文不同,因此需要使用針對中文語法結構設計的詞性標注器。 中文詞性標注也面臨著歧義消解的挑戰,例如“苹果”既可以指水果,也可以指公司。
範例考題
某企業規劃導入 AI 技術支援多項資料分析任務中,下列何種屬於結構化預測(Structured Prediction)問題?
- A判斷一封電子郵件是否為垃圾郵件
- B預測未來一週的產品需求量
- C預測客戶是否可能流失
- D為語音內容轉換後的文字進行逐詞標註
正解是 D:為語音內容轉換後的文字進行逐詞標註
解析:結構化預測是指輸出具有內在結構(如序列、樹狀或圖結構)的預測問題。逐詞標註(如詞性標注、命名實體識別)需要為每個詞產生標籤,且標籤間有相互依賴關係,屬於典型的序列標注(結構化預測)問題。
出現在這些考古題
官方公告試題的逐題解析裡,這 1 題把詞性標注列為延伸術語。
相關術語
來源
這個術語目前沒有標註外部來源。
其他格式:Markdown 版本