# Transformer（Transformer）

Transformer 是一種基於自注意力機制（Self-Attention）的深度學習架構，能平行處理序列資料，是 GPT、BERT 等大型語言模型的核心基礎。

## 完整說明

Transformer 於 2017 年由 Google 團隊在論文《Attention Is All You Need》中提出。它捨棄了傳統 RNN 的循序處理方式，改用自注意力機制（Self-Attention Mechanism）讓模型能同時「看到」整段輸入序列中每個位置的資訊，大幅提升了訓練效率與長距離依賴的捕捉能力。Transformer 的編碼器-解碼器架構成為自然語言處理（NLP）領域的標準範式，衍生出 BERT（僅編碼器）、GPT（僅解碼器）等重要模型。目前幾乎所有主流大型語言模型（LLM）都以 Transformer 為基礎架構。

## iPAS 考試出題分析

平均佔 AI 技術類考題 12%，屬於高頻考範圍。

常見出題方向：
- 注意力機制原理（佔 40%）
- Transformer 與 RNN/CNN 比較（佔 35%）
- 衍生模型區分（佔 25%）

## 常見問題

### Transformer 和 RNN 的主要差異是什麼？

RNN 循序處理序列資料，無法平行運算且容易遺忘長距離資訊。Transformer 透過自注意力機制一次處理整段序列，可高度平行化且能捕捉長距離依賴關係。

### GPT 和 BERT 都是 Transformer 嗎？

是的。GPT 使用 Transformer 的解碼器部分（Decoder-only），專精於文本生成。BERT 使用編碼器部分（Encoder-only），專精於文本理解任務如分類和問答。

---

來源：https://aiterms.tw/terms/transformer
快查頁：https://aiterms.tw/terms/transformer
深度解說：https://aiterms.tw/learning/what-is-transformer