完整定義
自然語言處理是一種人工智慧領域,用於使電腦能夠理解、處理和生成人類語言。它能夠讓電腦從文本或語音中提取信息、進行情感分析、機器翻譯、文本摘要等任務。在 iPAS 考試中,自然語言處理是重要的知識點,考察其基本概念、常見技術以及應用場景。
白話說明
你有沒有想過,電腦怎麼從人話裡抓出意思?
你可以把它想成讓機器學會讀、寫、切詞、分類、抽資訊,像在處理一整套語言工作。
自然語言處理是把文字變成可計算資料的總稱,從分詞到理解,再到生成都屬於它。
記住這句
人話要先變成電腦看得懂的資料。
比喻:自然語言處理就像一個超級語言學家 -- 它不只會聽、會說、會讀、會寫,還會分析語言的語法、語義、情感,讓電腦能像人一樣理解和使用我們的語言,做翻譯、寫文章、回答問題樣樣行。
容易混淆
自然語言處理 vs 自然語言理解
自然語言處理:整個大領域
自然語言理解:偏理解語意的子領域
自然語言處理 vs 語音辨識
自然語言處理:處理文字
語音辨識:先把聲音轉成文字
實際案例
搜尋引擎
把查詢切詞、去停用詞、理解意圖,找出最相關頁面。
客服系統
把使用者輸入分成意圖、實體、和回覆內容,再走後續流程。
演算法與應用
NLP 的工作鏈很長,常包含文字前處理、特徵表示、理解、與生成。
現代 NLP 幾乎都離不開語言模型。
它的難點在語意、上下文、歧義和跨語言差異。
中英對照與常見說法
- 說法
- 自然語言處理
- 出現場合
- 台灣正式用語
- 說法
- 自然语言处理
- 出現場合
- 簡體寫法,簡體資料的標準用語
- 說法
- Natural Language Processing
- 出現場合
- 英文原名
- 說法
- NLP
- 出現場合
- 標準縮寫,注意這個縮寫在心理學領域另指神經語言程式學,是完全不同的東西
- 說法
- 自然語言理解(NLU)/自然語言生成(NLG)
- 出現場合
- 自然語言處理底下的兩個子領域,前者管讀懂,後者管寫出
這個領域包含哪些任務
中文的處理跟英文有一個關鍵差異:中文沒有空格分詞。英文靠空格就能切出詞,中文得先做斷詞,而斷詞本身就是一個容易出錯的任務(「研究生命起源」可以切成「研究生/命/起源」或「研究/生命/起源」)。這也是為什麼子詞切分(subword tokenization)對中文特別重要。
- 層次
- 詞彙層
- 代表任務
- 斷詞、詞性標註、詞幹還原、命名實體識別
- 層次
- 句法層
- 代表任務
- 依存句法分析、成分句法分析
- 層次
- 語意層
- 代表任務
- 語意角色標註、指代消解、情感分析
- 層次
- 語用與應用層
- 代表任務
- 機器翻譯、摘要、問答、對話、檢索
從規則到大型語言模型的三個階段
規則時期(1950 到 1990 年代):語言學家手寫文法規則與詞典。優點是可解釋、可控,缺點是覆蓋不了語言的無窮變化,維護成本隨規則數量爆炸。
統計與機器學習時期(1990 到 2013 年前後):改用標註語料訓練統計模型,代表方法有隱馬可夫模型、條件隨機場、以及統計式機器翻譯。這時期的主力工作是特徵工程。
深度學習與預訓練時期(2013 年之後):先是詞向量(word2vec、GloVe)讓詞有了連續的語意表示,接著循環神經網路與注意力機制處理序列,2017 年 Transformer 架構問世後,預訓練加微調成為標準流程,再演進到現在的大型語言模型。
現在的實務分工大致是:需要生成、需要跨任務彈性,用大型語言模型;需要低延遲、低成本、固定輸出格式的分類與抽取,用小型編碼器模型微調仍然更划算。
情境判斷
Q1(直覺題):你要讓系統看懂一句中文並判斷意圖,這屬於什麼?
自然語言處理,因為核心是讓機器處理人類語言。
Q2(判斷題):如果一個系統只有文字輸入,沒有聲音,也沒有影像,還算 NLP 嗎?
算,NLP 的主要對象就是文字與語言結構。
iPAS 考題
Q:自然語言處理最常做的事情有哪些?
分詞、分類、資訊抽取、問答、生成,核心是把人話變成可計算的資料。
Q:為什麼中文 NLP 一開始常先做分詞?
因為中文沒有明確空格切詞,電腦需要先把句子切成可處理的單位。
常見問題
不是,NLP 只是 AI 的一個分支。
不一定,傳統統計方法也屬於 NLP。
因為它是中文 NLP 最基礎的前處理步驟之一。
出現在這些考古題
官方公告試題的逐題解析裡,有 6 題把自然語言處理列為延伸術語,這裡列出 5 題。
立即測驗
想測試你對 自然語言處理 的掌握程度?用考古題作答
相關術語
來源
參考來源:ipd.nat.gov.tw
考試範圍:iPAS AI 應用規劃師評鑑內容範圍參考(115.02 更新),經濟部產業人才能力鑑定,實際考試內容以官方公告為準。
其他格式:Markdown 版本