代數注意力 是什麼？
Algebra Attention：代數注意力 的完整解釋
將代數結構（如群、環、格等）引入注意力機制設計，以捕捉資料中具有代數對稱性或層次結構的關係。
代數注意力（Algebra Attention）是 Transformer 注意力機制研究的前沿方向之一，其核心問題是：傳統基於內積的注意力機制能有效捕捉向量空間中的線性相似關係，但對於資料中存在的代數結構（如旋轉不變性、排列對稱性、群作用等），傳統注意力往往無法以結構感知（structure-aware）的方式高效利用。代數注意力試圖通過將代數理論引入注意力的設計來解決這一問題。
理解代數注意力需要先梳理幾個關鍵的代數概念。群（Group）是一種配備了滿足封閉性、結合律、單位元與逆元的代數結構，廣泛出現於物理對稱性（如旋轉群 SO(3)）、置換對稱性（如置換群 Sₙ）等場景。等變性（Equivariance）是指函式 f 滿足 f(g·x) = g·f(x)（先作用後映射等於先映射後作用），不變性（Invariance）則是 f(g·x) = f(x)（輸出對群作用不變）。傳統的自注意力對輸入的排列是等變的（Permutation Equivariant），但對其他代數群作用（如旋轉）並不自動保持等變性。
代數注意力的一個重要分支是等變注意力（Equivariant Attention），設計注意力機制使其對特定群作用保持等變或不變。在分子性質預測的場景中，分子的三維結構對 SO(3)（三維旋轉群）和 T(3)（平移群）的作用是物理等價的（分子旋轉後性質不變），因此理想的分子表示模型應對這些群作用具有等變性。SE(3)-Transformer、EGNN（Equivariant Graph Neural Network）等模型正是在注意力設計中引入了 SE(3) 群（旋轉加平移）的等變性約束，使模型對分子三維座標的旋轉平移變換自動保持正確性，大幅提升了分子性質預測的準確性與資料效率。
另一個代數注意力的方向是線性代數注意力（Linear Algebraic Attention），探索用矩陣代數操作替代標準的 Softmax 點積注意力。標準注意力的計算複雜度為 O(n²)（n 為序列長度），在長序列上計算成本高昂。部分線性化注意力的方法（如 Linear Transformer、Performer）利用核函式技巧將注意力改寫為可結合的矩陣乘積形式，降低複雜度至 O(n)，但可能損失表達能力。代數注意力則探索利用矩陣代數的結構性（如低秩分解、張量積）設計同時高效且表達能力強的注意力變體。
在數學推理與符號 AI 的場景中，代數注意力有獨特的應用價值。數學表達式、程式碼的抽象語法樹（AST）、邏輯命題等都具有豐富的代數結構（如代入同態、式子的等價類等），傳統的平坦序列注意力無法直接利用這些結構。代數注意力機制可以設計為感知這些樹狀或圖狀代數結構，使模型在推理時能以更接近數學原理的方式處理符號資訊。
在格論（Lattice Theory）與偏序集（Partially Ordered Set）的代數注意力研究中，注意力機制被設計為感知元素之間的偏序關係（蘊含關係、子集關係），適用於知識圖譜、層次概念體系等具有自然偏序結構的資料。這類代數注意力在知識表示與本體論推理等場景有潛在應用。
張量代數注意力（Tensor Algebra Attention）是另一個活躍的研究方向，透過將注意力查詢、鍵、值表示為高階張量而非向量，並利用張量積（Tensor Product）等代數操作進行交互，可以捕捉比標準點積更豐富的多階關係。這在多模態對齊、關係推理等需要捕捉高階交互的任務中具有理論優勢。
目前，代數注意力作為一個研究方向仍相對前沿，許多方法尚在學術論文階段，大規模工程落地的案例相對有限。其主要挑戰包括：代數結構的引入往往增加模型設計的複雜度；特定代數約束可能限制模型的表達靈活性；以及如何在保持代數性質的同時維持足夠的計算效率。儘管如此，隨著科學 AI（Scientific AI）在材料、藥物、蛋白質設計等領域的快速發展，具有物理或化學代數對稱性的等變模型已展現出顯著的實用價值，代數注意力的研究重要性正在持續提升。