AITerms 登入
自然語言處理模型評估深度學習

BLEU分數(BLEU Score)是什麼?

BLEU分數是一種評估機器翻譯文本品質的指標,通過比較候選譯文與參考譯文的n-gram重疊程度來計算,數值越高表示翻譯品質越好。

完整定義

BLEU(Bilingual Evaluation Understudy)分數是一種用於評估機器翻譯文本品質的指標。它通過比較候選譯文(模型生成的翻譯)與一個或多個參考譯文(人工翻譯)的n-gram重疊程度來計算。BLEU分數的取值範圍在0到1之間,數值越高表示翻譯品質越好。

白話說明

你在比較兩個翻譯系統誰比較像參考答案時,你會怎麼判斷它真正的作用?

你可以把它想成 BLEU分數是一種評估機器翻譯文本品質的指標,通過比較候選譯文與參考譯文的n-gram重疊程度來計算,數值越高表示翻譯品質越好。

在 你在比較兩個翻譯系統誰比較像參考答案時 這種情境裡,這個概念會直接影響你怎麼設計、怎麼評估、怎麼上線。

比喻

BLEU 分數就像老師改作文時,不是看你寫得多優美,而是看你的答案句型和用詞跟「標準答案」有多像 -- 它會數你翻譯的句子裡,有多少詞組跟專業翻譯員提供的參考譯文是重疊的,重疊越多分數就越高。

容易混淆

BLEU vs ROUGE

BLEU 重點看翻譯的精準重疊,ROUGE 常拿來看摘要的召回覆蓋。

BLEU vs 人工評估

BLEU 很快,但人工評估更能看自然度、語氣和文化感。

BLEU vs perplexity

BLEU 看輸出和參考答案重疊多少,perplexity 看模型對語料的預測難度。

實際案例

案例 1:翻譯回歸測試

系統升版後 BLEU 掉分,團隊就知道可能有詞序或詞彙對應問題。

案例 2:多模型比較

兩個翻譯系統都看起來順,但 BLEU 先幫你做一個快速量化比較。

深入了解

面向
核心
重點
用 n-gram 重疊衡量候選譯文和參考譯文的相似度。
面向
限制
重點
太依賴參考答案,對同義改寫和自然表達不夠友善。
面向
補充
重點
實務上常搭配人工評估一起看。

情境判斷

Q1(判斷題): 一個譯文很自然但 BLEU 不高,這代表什麼?

可能代表它和參考譯文寫法不同,但不一定真的差。

Q2(判斷題): 短句的 BLEU 很容易飄,這時該怎麼想?

要更小心解讀,因為短句的 n-gram 太少,分數變動會很大。

常見問題

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本