AITerms 登入
多模態AI電腦視覺自然語言處理

對比語言圖像預訓練(CLIP)是什麼?

CLIP 是用對比學習把圖像和文字描述連結起來的模型,可以做零樣本圖像分類,不必針對特定任務重新訓練。

完整定義

CLIP (Contrastive Language-Image Pre-training) 是一種由 OpenAI 開發的視覺語言模型。它透過對比學習的方式,將圖像與文字描述連結起來,使得模型能夠理解圖像的語義。CLIP 能夠進行零樣本圖像分類,即在沒有任何訓練數據的情況下,將圖像分類到預定義的類別中。常見應用包括圖像檢索、圖像分類和圖像描述生成。

白話說明

你想用一句文字就把對應圖片找出來時,會不會想知道背後怎麼做?

你可以把它想成 CLIP 是把圖片和文字放進同一個語意空間裡做對齊的模型,讓系統不必重新訓練也能靠文字描述理解圖片

在圖片搜尋、零樣本分類和圖文對齊這些情境裡,它很常直接改變你怎麼設計和怎麼評估模型

記住這句

圖和字先對齊到同一空間,再用文字去找圖片

比喻:CLIP 就像一個學會「看圖說故事」和「聽故事找圖」的小孩 -- 它不是被教特定物體的名字,而是透過大量圖片和文字的配對,學會把圖片內容和描述連結起來,所以當你給它一張從沒看過的圖,它也能從文字描述中找出最符合的。

容易混淆

CLIP vs 圖像分類器

圖像分類器只會認固定標籤,CLIP 可以把文字描述和圖片對上

CLIP vs 生成式視覺模型

CLIP 偏理解和對齊,生成式模型偏把圖片畫出來

零樣本 vs 微調

零樣本是直接拿文字提示用,微調是再用特定資料訓練

實際案例

案例 1:文字找圖片

輸入「穿紅色外套的人」,系統能把對應圖片找出來

案例 2:零樣本分類

沒有針對新類別訓練,也能靠文字提示先做粗分類

演算法與應用

面向
核心
重點
把圖片和文字投到同一個向量空間,讓它們互相對齊
面向
訓練
重點
常用對比學習,把配對好的圖文拉近、不配對的拉遠
面向
注意
重點
對抽象概念或高階語義,效果不一定像具體物體那麼穩

情境判斷

Q1(判斷題): 如果你只給文字描述,不重新訓練模型,也能判斷圖片類別嗎?

可以,這就是 CLIP 很常見的零樣本能力

Q2(判斷題): 如果文字和圖片完全對不上,CLIP 還能救嗎?

通常不行,因為它本質上就是靠圖文對齊

常見問題

出現在這些考古題

官方公告試題的逐題解析裡,這 3 題把對比語言圖像預訓練列為延伸術語。

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本