文本到文本 是什麼？

T5 — 文本到文本 的完整解釋

T5 (Text-to-Text Transfer Transformer) 是一種將所有 NLP 任務轉換為文本到文本格式的轉換器模型，簡化了模型訓練和應用。

容易混淆

文本到文本 vs 語言模型 文本到文本：偏向 把文字整理成模型可用的單位 語言模型：偏向 會預測文字的基礎模型 最關鍵的區別：文本到文本看的是「把文字整理成模型可用的單位」，語言模型看的是「會預測文字的基礎模型」。

文本到文本 vs 轉換器架構 文本到文本：偏向 把文字整理成模型可用的單位 轉換器架構：偏向 基礎架構 最關鍵的區別：文本到文本看的是「把文字整理成模型可用的單位」，轉換器架構看的是「基礎架構」。

記住這句就好

先切文字，再談語意。

實際案例

案例：客服信件先做詞幹或子詞切分 再送進分類模型，比直接硬吃原文更穩

案例：長篇會議紀錄先做摘要 管理者不用看完整文章，也能抓到重點

算法與應用

先把詞、子詞或詞幹整理好，模型才有穩定輸入 文字表示方法不同，後面的分類和搜尋效果會差很多 常見任務是分類、摘要、翻譯和關鍵詞萃取

情境判斷

Q1（直覺題）： 你要把一堆客服留言分成抱怨、詢問和稱讚，應該先做什麼？ → 先把文字切成模型能處理的單位，再做分類。

Q2（判斷題）： 遇到超長中文句子和很多新詞時，還能沿用同一種切法嗎？ → 看情況，切分方式要跟語言和任務一起調，不然效果可能會掉。

常見問題

這類方法一定要先分詞嗎？

不一定，但大多數流程都需要某種切分或標記，否則模型很難穩定處理文字。

它和單純看詞頻有什麼不同？

它不只看出現次數，也會看字詞組合、子詞或上下文，能更接近語意。

什麼時候最容易出錯？

遇到新詞、長詞、專有名詞或多語混雜文本時，切分和表示方式最容易影響結果。