AITerms 登入
自然語言處理深度學習模型訓練

文本到文本(T5)是什麼?

T5 (Text-to-Text Transfer Transformer) 是一種將所有 NLP 任務轉換為文本到文本格式的轉換器模型,簡化了模型訓練和應用。

完整定義

T5 (Text-to-Text Transfer Transformer) 是 Google 開發的一種轉換器模型,其獨特之處在於將所有自然語言處理 (NLP) 任務,如翻譯、摘要、問答等,都轉換為文本到文本的格式。這種統一的方法簡化了模型訓練和應用,使其更易於泛化到不同的 NLP 任務。

白話說明

你有沒有想過,文字送進模型前,為什麼總要先切一刀、再整理一下?

你可以把它想成把文字整理成模型看得懂的單位。

文本到文本 的重點是 T5 (Text-to-Text Transfer Transformer) 是一種將所有 NLP 任務轉換為文本到文本格式的轉換器模型,簡化了模型訓練和應用。

它重要,是因為後面的分類、摘要、搜尋或生成,幾乎都靠這一步打底。

記住這句

先切文字,再談語意。

比喻:T5 就像一個超級翻譯機 -- 不管你是要翻譯語言、回答問題還是寫摘要,它都把它當成「把一段文字變成另一段文字」的任務來處理,讓所有事情都變得簡單統一。

容易混淆

文本到文本 vs 語言模型

文本到文本:偏向 把文字整理成模型可用的單位

語言模型:偏向 會預測文字的基礎模型

最關鍵的區別:文本到文本看的是「把文字整理成模型可用的單位」,語言模型看的是「會預測文字的基礎模型」。

文本到文本 vs 轉換器架構

文本到文本:偏向 把文字整理成模型可用的單位

轉換器架構:偏向 基礎架構

最關鍵的區別:文本到文本看的是「把文字整理成模型可用的單位」,轉換器架構看的是「基礎架構」。

實際案例

案例:客服信件先做詞幹或子詞切分

再送進分類模型,比直接硬吃原文更穩

案例:長篇會議紀錄先做摘要

管理者不用看完整文章,也能抓到重點

演算法與應用

先把詞、子詞或詞幹整理好,模型才有穩定輸入

文字表示方法不同,後面的分類和搜尋效果會差很多

常見任務是分類、摘要、翻譯和關鍵詞萃取

情境判斷

Q1(直覺題): 你要把一堆客服留言分成抱怨、詢問和稱讚,應該先做什麼?

先把文字切成模型能處理的單位,再做分類。

Q2(判斷題): 遇到超長中文句子和很多新詞時,還能沿用同一種切法嗎?

看情況,切分方式要跟語言和任務一起調,不然效果可能會掉。

常見問題

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本