視覺變換器 是什麼?

Vision Transformer — 視覺變換器 的完整解釋

Vision Transformer (ViT) 是一種將 Transformer 架構應用於圖像識別的深度學習模型,它將圖像分割成小塊,並將其視為序列進行處理。

容易混淆

視覺變換器 vs 卷積神經網路 ViT 把圖片當成序列看 CNN 會從局部卷積開始掃 最關鍵的區別:序列化處理和局部卷積

視覺變換器 vs 轉換器架構 ViT 是轉換器的影像版本 轉換器是更一般的架構家族 最關鍵的區別:應用場景不同

視覺變換器 vs 圖像分類 ViT 是模型架構 圖像分類是任務 最關鍵的區別:工具和工作

記住這句就好

把圖片切成塊,再讓注意力把整張圖連起來。

實際案例

大規模分類 在大量圖片資料上,ViT 常能學到很強的全局關係,特別是資料夠多時

醫療影像 把高解析度切成圖塊後做分類或輔助判讀,能利用全局與局部資訊

算法與應用

| 切塊 | 把圖片分成固定小區塊 | 像把句子切成 token | | 位置編碼 | 告訴模型圖塊原本在哪 | 避免順序丟失 | | 自注意力 | 讓圖塊彼此互看 | 抓全局關係 | | 資料需求 | 通常需要較多資料 | 不然容易學不穩 |

情境判斷

Q1(直覺題):你想把圖片當序列來處理,這就是 ViT 的思路嗎? → 對,這正是它和 CNN 最直觀的差別。

Q2(判斷題):資料很少時,ViT 一定比較好嗎? → 不一定,資料少時 CNN 常反而更穩。

相關術語

常見問題

ViT 為什麼要切圖塊?

因為它要把影像轉成類似 token 序列的形式。

它一定比 CNN 強嗎?

不一定,資料量和任務型態會影響結果。

位置編碼重要嗎?

很重要,不然模型不知道每個圖塊原來的位置。