完整定義
ROUGE (Recall-Oriented Understudy for Gisting Evaluation) 評分是一系列用於評估自動文本摘要和機器翻譯品質的指標。它通過計算生成文本(模型輸出)和一組參考文本(人工撰寫的標準答案)之間的n-gram重疊程度來衡量。ROUGE評分越高,表示生成文本與參考文本的相似度越高,品質也越好。
白話說明
你有沒有看過 AI 寫的摘要很順,但重點卻漏了一大半?
你可以把 ROUGE 想成拿 AI 的摘要去對照標準答案,看它有沒有把該講的內容抓到。
它重要是因為摘要、翻譯和生成任務常需要一個自動化指標,來快速比較不同模型。
記住這句
摘要有沒有漏重點,ROUGE 很適合先看。
比喻:ROUGE 評分就像老師批改作文,不是看文筆好不好,而是看你的摘要或翻譯跟「標準答案」有多少詞語或短語是重複的 -- 重疊越多分數越高。
容易混淆
ROUGE vs BLEU
ROUGE 看重內容覆蓋
BLEU 看重和參考答案的字詞相符度
最關鍵的區別是看漏沒漏重點,還是像不像標準答案。
ROUGE vs 準確率
ROUGE 是內容重疊評分
準確率是分類或判斷是否答對的指標
最關鍵的區別是文字生成評估還是分類評估。
實際案例
新聞摘要評測
兩個摘要模型都能把長文縮短,但只有 ROUGE 高的那個,通常真的把重要句子抓得比較完整。
醫療文件整理
當醫療摘要需要快速篩模型時,ROUGE 可以先當第一層自動評分。
演算法與應用
ROUGE-1 看單字詞重疊,ROUGE-2 看二元詞組重疊,ROUGE-L 看最長公共子序列。
它偏向召回,意思是比較在意該講的內容有沒有被說到。
它不能取代人工評估,因為流暢度和事實正確性不在它的評分範圍。
情境判斷
Q1(直覺題):如果摘要模型 ROUGE 分數更高,通常代表什麼?
通常代表它跟參考摘要的重疊更多,內容覆蓋比較完整。
Q2(判斷題):ROUGE 高就代表摘要一定好嗎?
不一定。它不看語氣、流暢度和事實正確性,所以還要搭配人工判讀。
常見問題
A:N 代表 n-gram 的長度,像 ROUGE-1 是單字詞,ROUGE-2 是兩個詞連在一起。
A:ROUGE-L 看整體序列相似度,ROUGE-N 看固定長度的詞組重疊。
A:很適合摘要、翻譯和有參考答案的生成任務。
出現在這些考古題
官方公告試題的逐題解析裡,這 1 題把ROUGE評分列為延伸術語。
相關術語
來源
這個術語目前沒有標註外部來源。
其他格式:Markdown 版本