AITerms 登入
自然語言處理統計方法AI基礎

N元語法(N-gram)是什麼?

N元語法是一種自然語言處理技術,用於預測序列中下一個詞的概率,基於前N-1個詞的出現頻率。

完整定義

N元語法是一種概率語言模型,它通過計算文本中連續N個項目的序列(稱為N元)的出現頻率,來預測序列中下一個項目的概率。這些項目可以是字母、單詞或符號。N元語法廣泛應用於自然語言處理的各個領域。

白話說明

你有沒有注意過,輸入法常常猜得到你下一個字?

你可以把它想成把句子切成固定長度的小片段,看看哪些片段最常一起出現,再拿來猜下一個詞。

N-gram 是最早的語言模型思路之一,靠的是統計,不是理解語意。

記住這句

先切片,再數頻率,最後猜下一個。

比喻:N元語法就像一個很會猜詞的接龍高手 -- 它會根據你前面說的幾個字(N-1個),來預測你下一個最可能說哪個字,因為它記住了大量文字組合出現的頻率。

容易混淆

N-gram vs 深度學習語言模型

N-gram:只看前面固定長度的詞

深度學習語言模型:能學更長距離的語意關係

N-gram vs 分詞

N-gram:是在切好詞之後做組合統計

分詞:是先把句子切成詞,還沒開始做組合

實際案例

輸入法聯想

你打出「今天晚上」,系統用常見詞組頻率推薦後面的字。

拼字修正

系統看到不常見的字串,就用常見 N-gram 片段去找更像樣的修正。

演算法與應用

N-gram 的基本做法是統計前 N-1 個詞出現後,下一個詞的條件機率。

N 越大,上下文越多,但資料稀疏問題也越嚴重。

實務上常搭配平滑技術,避免沒看過的組合直接變成零機率。

情境判斷

Q1(直覺題):你要做一個超快的輸入法推薦,資料很多,但不追求理解句意,該用什麼?

N-gram,因為它快、簡單、而且能做基本的下一詞預測。

Q2(判斷題):如果把 N 設得很大,結果反而很差,最常見原因是什麼?

資料稀疏,很多組合在語料中根本沒出現,機率估計會失真。

常見問題

出現在這些考古題

官方公告試題的逐題解析裡,這 1 題把N元語法列為延伸術語。

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本