AITerms 登入
iPAS 中級 深度學習自然語言處理神經網路

轉換器架構(Transformer)是什麼?

完全基於 Attention 機制的架構,不用 RNN 的循環結構,能平行處理整個序列

完整定義

轉換器架構是一種基於自注意力機制的深度學習模型架構,最初被設計用於機器翻譯,但現在已廣泛應用於自然語言處理的各個領域,如文本分類、文本生成和問答系統。轉換器架構的核心是自注意力機制,它允許模型關注輸入序列中不同位置之間的關係,從而更好地理解上下文。在 iPAS 考試中,了解轉換器架構的基本原理和應用是重要的。

白話說明

你有沒有發現,模型有時候不是一個字一個字看,而是一次看整段關係?

你可以把轉換器架構想成「靠注意力機制理解整段資料關係」

它不一定像舊式 RNN 那樣一格一格往前走,而是能同時看多個 token 的互動

這讓它在語言、視覺和多模態任務都很強

記住這句

先看 token 彼此怎麼互相影響,再決定意思。

比喻:Transformer 就像一位同步口譯員 -- 不需要逐字翻譯,而是同時「看到」整段話,理解每個字在上下文中的意義後再翻譯

容易混淆

轉換器架構 vs RNN

轉換器能平行處理很多 token

RNN 比較依賴前後順序逐步運算

最關鍵的區別:平行和循序

轉換器架構 vs CNN

轉換器擅長全局關係

CNN 擅長局部鄰近特徵

最關鍵的區別:關係範圍不同

轉換器架構 vs 注意力機制

轉換器是整個架構

注意力機制是其中最核心的零件

最關鍵的區別:整體系統和子機制

實際案例

翻譯

模型同時看句子裡前後文,較容易判斷代名詞和語意對應

摘要

長文摘要時,轉換器能快速抓到各段落之間的關係,再把重點濃縮出來

演算法與應用

自注意力讓每個 token 看其他 token是核心機制
編碼器把輸入資料編成表示常用在理解任務
解碼器把表示轉成輸出常用在生成任務
位置編碼補上順序資訊因為注意力本身不自帶順序

情境判斷

Q1(直覺題):你想做長句翻譯,通常會想到它嗎?

會,因為它能同時看整段上下文,對長句特別有幫助。

Q2(判斷題):如果資料很少,轉換器一定比舊模型好嗎?

不一定,模型大、資料少時,還是可能出現過擬合。

iPAS 考試出題分析

轉換器架構 屬於 iPAS AI 應用規劃師評鑑範圍(中級),實際考試內容以官方公告為準。

常見一起複習的方向包含:轉換器架構的演算法與模型組成、自注意力機制 (Self-Attention) 的數學原理、轉換器模型在大型語言模型中的應用。

常見問題

範例考題

ChatGPT、Gemini 等對話型生成式 AI 工具所依據的基礎模型技術,下列何者正確?

  1. A決策樹(Decision Tree)
  2. B大型語言模型(Large Language Model, LLM)
  3. C生成對抗網路(Generative Adversarial Network, GAN)
  4. D圖卷積網路(Graph Convolutional Network, GCN)
到題目頁作答

在大型語言模型(LLM)的效能優化中,Flash Attention 常被用來改善 Transformer 注意力機制的運算效率。關於 Flash Attention 的主要效益,下列敘述何者最正確?

  1. A透過忽略影響較小的注意力權重,減少模型需要計算的關聯數量,以降低運算成本
  2. B透過調整注意力計算與資料處理方式,減少中間結果的儲存需求,進而改善速度與資源使用效率
  3. C透過增加注意力計算的並行程度,使模型可同時處理更多注意力頭部
  4. D透過將注意力結果暫存於高速快取記憶體,以避免重複計算造成延遲
到題目頁作答

出現在這些考古題

官方公告試題的逐題解析裡,有 10 題把轉換器架構列為延伸術語,這裡列出 5 題。

立即測驗

想測試你對 轉換器架構 的掌握程度?用考古題作答

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

參考來源:en.wikipedia.org

考試範圍:iPAS AI 應用規劃師評鑑內容範圍參考(115.02 更新),經濟部產業人才能力鑑定,實際考試內容以官方公告為準。

其他格式:Markdown 版本