雙語評估替代指標 是什麼？
Bilingual Evaluation Understudy：雙語評估替代指標 的完整解釋
雙語評估替代指標（BLEU，Bilingual Evaluation Understudy）是機器翻譯品質評估的自動化量化指標，透過比對機器翻譯輸出與人工參考譯文中 n-gram 的重疊程度，給出 0
核心概念
雙語評估替代指標（BLEU）是機器翻譯領域最早被廣泛採用的自動評估指標，目的是以自動化方式估計翻譯品質，替代昂貴的人工評估（Understudy 即「替代者」之意）。
基本思想：好的翻譯應該與人工參考譯文共享大量的 n-gram（連續 n 個詞的序列）。若機器翻譯輸出包含的 1-gram（詞）、2-gram（詞對）、3-gram、4-gram 與參考譯文的重疊越多，翻譯品質越高。
BLEU 計算的四個組成要素：
修改版 n-gram 精確率（Modified Precision）：計算候選翻譯中每個 n-gram 出現在任一參考譯文中的比例，但每個參考譯文中的 n-gram 最多被計算一次（避免重複詞被過度獎勵）。
多 n-gram 組合（1-gram 至 4-gram）：BLEU 計算 P1、P2、P3、P4 四個精確率，取幾何平均： BLEU_n = exp(Σ w_n × log P_n)，通常四個 n-gram 權重各為 0.25。
簡短懲罰（Brevity Penalty, BP）：若候選翻譯長度 c 短於最接近的參考譯文長度 r，則 BP = exp(1 - r/c)；若 c ≥ r 則 BP = 1。這防止系統透過輸出極短翻譯來刷高精確率。
最終 BLEU = BP × exp(Σ w_n × log P_n)
運作原理
具體計算範例：
- 參考譯文（Reference）：「貓坐在墊子上」
- 候選翻譯（Candidate）：「貓在墊子上坐」
1-gram 精確率：「貓」「在」「墊子」「上」「坐」都出現在參考中，P1 = 5/5 = 1.0 2-gram：「貓在」在參考中不存在（參考是「貓坐」），部分 2-gram 不匹配，P2 下降。
這個例子說明 BLEU 的特性：語序不同的翻譯（即使語義正確）會因 n-gram 不匹配而被懲罰。
多參考譯文（Multiple References）：實際使用中，BLEU 通常提供多個參考譯文（如 BLEU-4 Reference：4 個人工翻譯）。每個 n-gram 只要出現在任一參考中即算匹配，多參考能有效提高 BLEU 對不同合理翻譯的包容性。
語料庫層級 vs. 句子層級：BLEU 在語料庫層級（對整個測試集計算）的可靠性遠高於句子層級。單一句子的 BLEU 分數波動極大（如短句子只要一個詞不匹配就大幅下降），不適合用於評估單句翻譯品質。
實際應用
機器翻譯系統開發：在 Google Translate、DeepL 等商業翻譯系統的研發過程中，BLEU 作為自動評估指標用於快速比較不同模型版本（如調整超參數、更換訓練資料後的效果）。開發週期中可能每天跑數十次 BLEU 評估，人工評估則在重要節點（如發布前）才進行。
學術論文比較基準：幾乎所有機器翻譯論文都會報告 BLEU 分數（通常在 WMT、FLORES 等標準資料集上），方便讀者與歷史基準比較。若論文聲稱「BLEU 提升 X 分」，研究者可快速判斷進步幅度是否具實際意義（通常 +1 BLEU 視為有統計顯著性的改進）。
生成式 AI 評估：BLEU 也用於評估其他文字生成任務，如影像描述生成（Image Captioning，以標準 COCO BLEU 評估）、文字摘要（常搭配 ROUGE），但在這些場景中其侷限性更明顯，近年逐漸被以語義相似度為基礎的指標取代。
常見誤區
誤區一：BLEU 分數越高代表翻譯越好（絕對意義）
BLEU 是相對指標，適合比較同一測試集上不同系統的相對優劣，但無法給出「翻譯品質達到可接受水平」的絕對判斷。不同語言對（Language Pair）、不同領域（如法律 vs. 口語）的 BLEU 分數無法直接比較：中英翻譯的 BLEU-40 和日英翻譯的 BLEU-30 不代表前者更好。
誤區二：BLEU 能捕捉語義等效性
BLEU 是表面形式（Surface Form）的 n-gram 比對，無法理解同義詞替換或不同語序的語義等效翻譯。「I am happy」和「I feel joyful」在語義上接近，但 BLEU 計算時幾乎沒有 n-gram 重疊。現代替代指標如 BERTScore 透過詞向量相似度捕捉語義等效性，對此問題有更好的處理。
誤區三：BLEU 在低資源場景同樣可靠
當參考譯文只有 1-2 個時，BLEU 的估計方差很大，不穩定。這在低資源語言的評估中尤其明顯：少量參考翻譯難以覆蓋所有合理的翻譯方式，導致正確翻譯被低估。
與相關技術的比較
| 指標 | 匹配基礎 | 優點 | 缺點 |
|---|---|---|---|
| BLEU | n-gram 表面形式 | 計算快、可重現、業界通用 | 不感知語義，句子層級不穩 |
| ROUGE | n-gram + 最長子序列（LCS） | 適合摘要評估，多種變體 | 同樣不感知語義 |
| METEOR | 詞幹匹配 + 同義詞匹配 | 比 BLEU 更敏感語義 | 計算較慢，語言資源依賴 |
| BERTScore | 詞向量餘弦相似度 | 捕捉語義等效性 | 依賴預訓練模型，計算較慢 |
| ChrF | 字元 n-gram | 適合形態豐富語言 | 對長距離依賴不敏感 |
BLEU 雖有明顯侷限，但其計算速度快、跨系統可比較的特性使其至今仍是機器翻譯領域的標準基準指標，通常與人工評估或語義指標並用以獲得更全面的評估結果。