視覺變換器(Vision Transformer)是什麼?

Vision Transformer (ViT) 是一種將 Transformer 架構應用於圖像識別的深度學習模型,它將圖像分割成小塊,並將其視為序列進行處理。|本頁含完整原理、應用場景、iPAS 考試重點與 3 個常見問答。

英文
Vision Transformer
主題標籤
深度學習、電腦視覺、神經網路
考點定位
非 iPAS 核心術語
最後更新
2026/06/17
視覺變換器(Vision Transformer)是什麼? 深度學習電腦視覺
術語快查

搜尋意圖: 如果你在找「視覺變換器 是什麼」或「視覺變換器 和相近概念差在哪」,先看這頁的短定義、完整說明與延伸比較。

TL;DR: Vision Transformer (ViT) 是一種將 Transformer 架構應用於圖像識別的深度學習模型,它將圖像分割成小塊,並將其視為序列進行處理。

實用情境: 適合用在閱讀 AI 文章、產品文件或和同事討論時,先用一頁快速對齊概念。

下一步: 先讀完定義,再往下看延伸比較與對應工具,把概念轉成實際應用。

你有沒有想過,圖片不一定要先用卷積掃,也能像句子一樣被拆成一塊一塊來看? 你可以把視覺變換器想成「把圖片切成小塊,再交給 Transformer 處理」 每個圖塊都像一個 token,模型再用注意力看它們彼此的關係 這種做法讓影像也能直接借用 Transformer 的優勢

容易混淆

視覺變換器 vs 卷積神經網路 ViT 把圖片當成序列看 CNN 會從局部卷積開始掃 最關鍵的區別:序列化處理和局部卷積

視覺變換器 vs 轉換器架構 ViT 是轉換器的影像版本 轉換器是更一般的架構家族 最關鍵的區別:應用場景不同

視覺變換器 vs 圖像分類 ViT 是模型架構 圖像分類是任務 最關鍵的區別:工具和工作

記住這句就好

把圖片切成塊,再讓注意力把整張圖連起來。

實際案例

大規模分類 在大量圖片資料上,ViT 常能學到很強的全局關係,特別是資料夠多時

醫療影像 把高解析度切成圖塊後做分類或輔助判讀,能利用全局與局部資訊

算法與應用

| 切塊 | 把圖片分成固定小區塊 | 像把句子切成 token | | 位置編碼 | 告訴模型圖塊原本在哪 | 避免順序丟失 | | 自注意力 | 讓圖塊彼此互看 | 抓全局關係 | | 資料需求 | 通常需要較多資料 | 不然容易學不穩 |

情境判斷

Q1(直覺題): 你想把圖片當序列來處理,這就是 ViT 的思路嗎?

對,這正是它和 CNN 最直觀的差別。

Q2(判斷題): 資料很少時,ViT 一定比較好嗎?

不一定,資料少時 CNN 常反而更穩。

常見問題

ViT 為什麼要切圖塊?

因為它要把影像轉成類似 token 序列的形式。

它一定比 CNN 強嗎?

不一定,資料量和任務型態會影響結果。

位置編碼重要嗎?

很重要,不然模型不知道每個圖塊原來的位置。