AITerms 登入
深度學習電腦視覺神經網路

視覺變換器(Vision Transformer)是什麼?

Vision Transformer(ViT)把 Transformer 架構用在圖像辨識,將圖像切成小塊,當成序列來處理。

完整定義

Vision Transformer (ViT) 是一種創新的圖像識別模型,它直接將 Transformer 架構應用於圖像。ViT 將輸入圖像分割成一系列圖像塊 (patches),並將這些圖像塊視為序列,然後使用 Transformer 編碼器進行處理,從而實現圖像分類。

白話說明

你有沒有想過,圖片不一定要先用卷積掃,也能像句子一樣被拆成一塊一塊來看?

你可以把視覺變換器想成「把圖片切成小塊,再交給 Transformer 處理」

每個圖塊都像一個 token,模型再用注意力看它們彼此的關係

這種做法讓影像也能直接借用 Transformer 的優勢

記住這句

把圖片切成塊,再讓注意力把整張圖連起來。

比喻:Vision Transformer 就像一個拼圖高手 -- 它先把整張圖片切成很多小塊,然後再像讀文章一樣,理解這些小塊之間的關係,最後拼湊出對整張圖的理解。

容易混淆

視覺變換器 vs 卷積神經網路

ViT 把圖片當成序列看

CNN 會從局部卷積開始掃

最關鍵的區別:序列化處理和局部卷積

視覺變換器 vs 轉換器架構

ViT 是轉換器的影像版本

轉換器是更一般的架構家族

最關鍵的區別:應用場景不同

視覺變換器 vs 圖像分類

ViT 是模型架構

圖像分類是任務

最關鍵的區別:工具和工作

實際案例

大規模分類

在大量圖片資料上,ViT 常能學到很強的全局關係,特別是資料夠多時

醫療影像

把高解析度切成圖塊後做分類或輔助判讀,能利用全局與局部資訊

演算法與應用

切塊把圖片分成固定小區塊像把句子切成 token
位置編碼告訴模型圖塊原本在哪避免順序丟失
自注意力讓圖塊彼此互看抓全局關係
資料需求通常需要較多資料不然容易學不穩

中英對照與常見說法

說法
視覺變換器、視覺轉換器
出現場合
中文譯名,兩種都有人用
說法
视觉 Transformer
出現場合
簡體資料多半保留英文原字
說法
Vision Transformer
出現場合
英文原名
說法
ViT
出現場合
標準縮寫

它把影像當成什麼

ViT 的核心想法是把影像切成小方塊,當成一串「單字」餵給 Transformer。

第一步,把影像切成固定大小的區塊(patch),常見是 16×16 像素。一張 224×224 的圖會切成 14×14 = 196 個區塊。

第二步,每個區塊攤平後過一個線性層,轉成一個向量,這就是 patch embedding。

第三步,加上位置編碼。Transformer 本身對順序沒有概念,不加位置編碼的話打亂區塊順序結果會一樣。

第四步,在最前面接一個特殊的 [CLS] token,串起來送進標準的 Transformer 編碼器。

第五步,取 [CLS] 位置的輸出接分類頭。

論文標題那句「An Image is Worth 16x16 Words」講的就是第一步。

跟 CNN 的取捨

歸納偏置(inductive bias) 是理解兩者差異的關鍵詞。CNN 天生假設「相鄰像素相關」與「物件移動了還是同一個物件」,這些假設在資料少的時候是幫助。ViT 沒有這些假設,資料少時學不到,資料多時反而不受假設限制,能學到 CNN 學不到的長距離關係。

這也是為什麼 ViT 原始論文強調要在超大資料集上預訓練才會贏。後續的 DeiT 用蒸餾與強資料增強,讓 ViT 在一般規模資料集上也能訓練起來;Swin Transformer 則引入層級式結構與滑動視窗注意力,把複雜度降回線性,同時把局部性的假設加回來,成為偵測與分割任務的常用骨幹。

內建假設
CNN
局部性與平移不變性
ViT
幾乎沒有,全靠資料學
小資料集
CNN
表現穩定
ViT
容易過擬合,通常輸給 CNN
大資料集預訓練
CNN
提升有限
ViT
提升明顯,這是它翻身的關鍵
感受野
CNN
逐層擴大
ViT
第一層就是全域
計算複雜度
CNN
隨影像大小線性
ViT
自注意力隨區塊數平方成長

情境判斷

Q1(直覺題):你想把圖片當序列來處理,這就是 ViT 的思路嗎?

對,這正是它和 CNN 最直觀的差別。

Q2(判斷題):資料很少時,ViT 一定比較好嗎?

不一定,資料少時 CNN 常反而更穩。

常見問題

出現在這些考古題

官方公告試題的逐題解析裡,這 1 題把視覺變換器列為延伸術語。

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本