完整定義
轉換器架構是一種基於自注意力機制的深度學習模型架構,最初被設計用於機器翻譯,但現在已廣泛應用於自然語言處理的各個領域,如文本分類、文本生成和問答系統。轉換器架構的核心是自注意力機制,它允許模型關注輸入序列中不同位置之間的關係,從而更好地理解上下文。在 iPAS 考試中,了解轉換器架構的基本原理和應用是重要的。
白話說明
你有沒有發現,模型有時候不是一個字一個字看,而是一次看整段關係?
你可以把轉換器架構想成「靠注意力機制理解整段資料關係」
它不一定像舊式 RNN 那樣一格一格往前走,而是能同時看多個 token 的互動
這讓它在語言、視覺和多模態任務都很強
記住這句
先看 token 彼此怎麼互相影響,再決定意思。
比喻:Transformer 就像一位同步口譯員 -- 不需要逐字翻譯,而是同時「看到」整段話,理解每個字在上下文中的意義後再翻譯
容易混淆
轉換器架構 vs RNN
轉換器能平行處理很多 token
RNN 比較依賴前後順序逐步運算
最關鍵的區別:平行和循序
轉換器架構 vs CNN
轉換器擅長全局關係
CNN 擅長局部鄰近特徵
最關鍵的區別:關係範圍不同
轉換器架構 vs 注意力機制
轉換器是整個架構
注意力機制是其中最核心的零件
最關鍵的區別:整體系統和子機制
實際案例
翻譯
模型同時看句子裡前後文,較容易判斷代名詞和語意對應
摘要
長文摘要時,轉換器能快速抓到各段落之間的關係,再把重點濃縮出來
算法與應用
| 自注意力 | 讓每個 token 看其他 token | 是核心機制 |
| 編碼器 | 把輸入資料編成表示 | 常用在理解任務 |
| 解碼器 | 把表示轉成輸出 | 常用在生成任務 |
| 位置編碼 | 補上順序資訊 | 因為注意力本身不自帶順序 |
情境判斷
Q1(直覺題):你想做長句翻譯,通常會想到它嗎?
會,因為它能同時看整段上下文,對長句特別有幫助。
Q2(判斷題):如果資料很少,轉換器一定比舊模型好嗎?
不一定,模型大、資料少時,還是可能出現過擬合。
iPAS 考試出題分析
轉換器架構 屬於 iPAS AI 應用規劃師評鑑範圍(中級),實際考試內容以官方公告為準。
常見一起複習的方向包含:轉換器架構的演算法與模型組成、自注意力機制 (Self-Attention) 的數學原理、轉換器模型在大型語言模型中的應用。
常見問題
因為它把注意力機制推成了很多現代模型的主幹。
不是,影像、語音和多模態都常見。
很難,因為模型需要知道 token 的先後和相對位置。
沒有關係,只是同一個英文字。電機領域的 transformer 是變壓器,Transformers 也是變形金剛的英文片名,而 AI 領域的 Transformer 是 2017 年提出的神經網路架構,中文常直接寫 Transformer,也有人譯為轉換器或變換器。
常見分成三類。只用編碼器的模型如 BERT,適合分類、抽取這類理解任務。只用解碼器的模型如 GPT 系列,以逐詞元生成文字為主。編碼器加解碼器的模型如原始 Transformer 與 T5,常用在翻譯、摘要這類輸入轉輸出的任務。
範例考題
ChatGPT、Gemini 等對話型生成式 AI 工具所依據的基礎模型技術,下列何者正確?
- A決策樹(Decision Tree)
- B大型語言模型(Large Language Model, LLM)
- C生成對抗網路(Generative Adversarial Network, GAN)
- D圖卷積網路(Graph Convolutional Network, GCN)
正解是 B:大型語言模型(Large Language Model, LLM)
解析:ChatGPT 和 Gemini 等對話型生成式 AI 工具的核心技術是大型語言模型(LLM),基於 Transformer 架構,透過大量文本資料訓練而成,能進行自然語言理解與生成。
在大型語言模型(LLM)的效能優化中,Flash Attention 常被用來改善 Transformer 注意力機制的運算效率。關於 Flash Attention 的主要效益,下列敘述何者最正確?
- A透過忽略影響較小的注意力權重,減少模型需要計算的關聯數量,以降低運算成本
- B透過調整注意力計算與資料處理方式,減少中間結果的儲存需求,進而改善速度與資源使用效率
- C透過增加注意力計算的並行程度,使模型可同時處理更多注意力頭部
- D透過將注意力結果暫存於高速快取記憶體,以避免重複計算造成延遲
正解是 B:透過調整注意力計算與資料處理方式,減少中間結果的儲存需求,進而改善速度與資源使用效率
解析:Flash Attention 的核心創新是透過 tiling(分塊)技術和重新排列計算順序,減少對 GPU 高頻寬記憶體(HBM)的讀寫次數,降低中間結果的儲存需求,從而提升速度和記憶體使用效率。
出現在這些考古題
官方公告試題的逐題解析裡,有 10 題把轉換器架構列為延伸術語,這裡列出 5 題。
立即測驗
想測試你對 轉換器架構 的掌握程度?用考古題作答
相關術語
來源
參考來源:en.wikipedia.org
考試範圍:iPAS AI 應用規劃師評鑑內容範圍參考(115.02 更新),經濟部產業人才能力鑑定,實際考試內容以官方公告為準。
其他格式:Markdown 版本