iPAS 備考專區 登入

iPAS AI 應用規劃師 初級 科目一 人工智慧基礎概論・115 年第一次・L11・第 41 題

Flash Attention 在改善什麼?

原題

在大型語言模型(LLM)的效能優化中,Flash Attention 常被用來改善 Transformer 注意力機制的運算效率。關於 Flash Attention 的主要效益,下列敘述何者最正確?

白話

Flash Attention 是大型語言模型效能優化中常被提到的技術,用來改善 Transformer 注意力機制的運算效率。

問你:Flash Attention 主要透過什麼方式改善注意力計算的效率?

一句話總結

Flash Attention 透過重新安排計算順序、減少中間結果在記憶體之間的搬移次數,在不改變計算結果的前提下大幅提升速度和降低記憶體佔用。

情境

先感受問題:處理長文章時,Transformer 為什麼慢下來?

你在用 ChatGPT 分析一份 50 頁的合約,模型要理解「第 3 頁的條款」和「第 48 頁的罰則」之間的關聯。

Transformer 的注意力機制要計算文章中每一個字和其他所有字的「相關程度分數」。50 頁合約約有 20,000 個字,注意力機制要計算 20,000 × 20,000 = 4 億個分數,這些分數形成一個巨大的矩陣。

問題不只是計算量大,而是這個 4 億格的矩陣必須先存到 GPU 的「慢記憶體」(HBM,高頻寬記憶體),計算時再搬回「快記憶體」(SRAM),來回搬移的時間比計算本身還長。就像你要做菜,但食材放在倉庫,每次切一刀就要去倉庫跑一趟,切菜的動作明明很快,跑路的時間卻拖垮了整體速度。

舊方法

標準注意力計算的瓶頸在哪裡

標準 Attention(Standard Attention)的計算流程:

  1. 計算注意力分數矩陣:所有字兩兩計算相關度,得到 N×N 的大矩陣,N 是序列長度
  2. 寫入 HBM:這個大矩陣存進 GPU 的高頻寬記憶體(HBM,容量大但比 SRAM 慢)
  3. 讀回 SRAM 做 Softmax:從 HBM 把矩陣讀回快速記憶體(SRAM),計算 Softmax 正規化
  4. 再寫 HBM,再讀回:Softmax 結果再寫入 HBM,下一步計算時再讀回 SRAM
  5. 記憶體頻寬是瓶頸:序列越長,矩陣越大,HBM ↔ SRAM 之間的資料搬移次數和量越多,計算時間的大部分花在等待資料傳輸

新方法

Flash Attention 如何減少記憶體搬移

Flash Attention 的核心洞見是:不要一次算整個大矩陣,改成分塊計算(Tiling),讓每個小塊留在 SRAM 裡把所有計算做完,再換下一塊。

用做菜的比喻:不是每切一刀就去倉庫拿食材,而是一次把今天要用的全部食材搬到廚房台面(SRAM),在台面上把所有步驟做完,最後才把成品搬回倉庫(HBM)。

技術上,Flash Attention 把輸入矩陣切成小塊,每個小塊在 SRAM(快記憶體)中完成 Softmax + 乘法等全部運算,避免了大矩陣在 HBM ↔ SRAM 之間來回搬移。

效果:記憶體存取次數從原本的 O(N²) 降低,整體速度提升 2-4 倍,記憶體佔用也大幅降低,讓模型能處理更長的輸入序列。

這就是選項 B 講的:透過調整注意力計算與資料處理方式,減少中間結果的儲存需求,進而改善速度與資源使用效率。

錯選項

為什麼其他選項是錯的

A忽略影響較小的注意力權重,減少關聯數量

字面在說什麼

選擇性地跳過一些計算(稀疏注意力),只計算重要的詞對之間的關聯。

為什麼不對

這描述的是「稀疏注意力(Sparse Attention)」的概念,不是 Flash Attention。Flash Attention 計算的結果和標準 Attention 完全相同,不跳過任何計算;它只是重新安排計算順序來減少記憶體搬移。跳過計算 vs. 重新安排計算,是兩種完全不同的優化策略。

誰會選錯

把「注意力效率優化」泛指為「減少計算量」的人。Flash Attention 的關鍵是「不減少計算量,而是減少記憶體搬移」,這個區別是本題的核心考點。

C增加注意力計算的並行程度,同時處理更多注意力頭部

字面在說什麼

讓多個 Attention Head(注意力頭)同時並行計算,提升吞吐量。

為什麼不對

Multi-Head Attention 的並行化(多頭同時計算)是 Transformer 原本設計就有的,不是 Flash Attention 引入的改善。Flash Attention 的創新在於記憶體存取模式的優化,和「頭部並行數量」無關。

誰會選錯

把「更快」等同於「更多並行」,但沒有注意 Flash Attention 的優化點不在並行數量,而在記憶體層次管理的人。

D將注意力結果暫存於高速快取,避免重複計算

字面在說什麼

快取(Cache)計算過的注意力分數,需要時直接取出,不需要重新計算。

為什麼不對

這更接近 KV Cache(鍵值快取)的描述,那是另一個 LLM 推論優化技術,用來快取已計算過的 Key 和 Value 避免重複計算。Flash Attention 不是快取策略,它是計算過程的重新設計(實際上在反向傳播時還故意「重新計算」而不是快取,用運算換記憶體)。兩個技術方向剛好相反。

誰會選錯

聽過「KV Cache 能加速 LLM」,把它和 Flash Attention 混在一起的人。LLM 優化有很多不同技術(Flash Attention、KV Cache、量化、Speculative Decoding),各自解決不同問題。

變形題

同個考點下次怎麼變形

延伸

想再往下看,這 5 個

答案、題目或解析有問題?回報這題

出處:iPAS 經濟部產業人才能力鑑定 ・ 115 年第一次 iPAS AI 應用規劃師 初級 科目一 人工智慧基礎概論 第 41 題

看官方原文 PDF

原題 © 經濟部產業發展署,AITerms.tw 僅作教學解析使用,本站解析以 CC BY-NC-SA 4.0 授權。