AITerms 登入
自然語言處理生成式AI模型訓練

因果語言模型(Causal Language Model)是什麼?

因果語言模型是一種語言模型,它基於序列中先前詞彙預測下一個詞彙,並明確建模詞彙之間的因果關係,以提升生成文本的連貫性和可控性。

完整定義

因果語言模型 (CLM) 是一種特殊的語言模型,它僅使用序列中先前的詞彙來預測下一個詞彙。與雙向模型不同,CLM 避免了使用未來詞彙的信息,從而更真實地模擬了人類產生語言的方式。這種單向性使其在生成任務中表現出色,並能更好地控制生成文本的風格和內容。

白話說明

你想讓模型一個 token 一個 token 往下寫時,你會怎麼判斷它真正的作用?

你可以把它想成 因果語言模型是一種語言模型,它基於序列中先前詞彙預測下一個詞彙,並明確建模詞彙之間的因果關係,以提升生成文本的連貫性和可控性。

在 你想讓模型一個 token 一個 token 往下寫時 這種情境裡,這個概念會直接影響你怎麼設計、怎麼評估、怎麼上線。

比喻

因果語言模型就像一個故事接龍高手 -- 它只看過前面說了什麼,然後根據這些資訊來猜測接下來最合理的故事發展,確保故事邏輯順暢,不會突然跳到不相關的情節。

容易混淆

因果語言模型 vs 遮罩語言模型

因果語言模型只能看前文,遮罩語言模型會看左右上下文。

因果語言模型 vs 編碼器模型

因果語言模型重生成,編碼器模型重理解。

因果語言模型 vs 文字分類器

前者要一個 token 一個 token 產生內容,後者只要輸出類別。

實際案例

案例 1:聊天機器人

模型要根據前面的對話往下接話,這很符合因果語言模型的做法。

案例 2:程式碼補全

你打完前半段函式,模型接著預測下一個 token。

演算法與應用

面向
核心
重點
用前面的 token 預測下一個 token,形成自回歸生成。
面向
優點
重點
適合自然生成、對話、摘要草稿和程式碼補全。
面向
注意
重點
推理時容易累積誤差,前面一錯後面就一起偏。

情境判斷

Q1(判斷題): 如果模型在生成時能偷看後面的字,還算因果語言模型嗎?

不算,那已經違反了自回歸的限制。

Q2(判斷題): 如果任務是分類不是生成,還一定要用這種模型嗎?

不一定,這時可能有更省資源的模型更合適。

常見問題

出現在這些考古題

官方公告試題的逐題解析裡,這 3 題把因果語言模型列為延伸術語。

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本