環狀注意力 是什麼？
Ring Attention — 環狀注意力 的完整解釋
環狀注意力是一種分散式注意力機制，將注意力計算分散到多個設備上，減少單一設備的記憶體需求，適用於超大型模型。
容易混淆
環狀注意力 vs 自注意力
環狀注意力是分散式實作方式 自注意力是注意力的核心機制 最關鍵的區別是演算法本體還是分散式做法。
環狀注意力 vs FlashAttention
環狀注意力重點是跨設備分工 FlashAttention 重點是單機上的記憶體效率 最關鍵的區別是多機協作還是單機優化。
記住這句就好
算不動的注意力，先把它分到一圈機器上。
實際案例
長上下文訓練 當文件長到超過單卡記憶體時，環狀注意力能把注意力計算拆成多輪傳遞。
超大語言模型 多 GPU 平行訓練時，這種做法能降低單一設備的記憶體壓力。
算法與應用
它會把序列切成多段，讓各設備輪流接收和傳遞 key、value。 好處是省記憶體，代價是通訊與排程會更複雜。 適合超長上下文或很大的模型，不是每個任務都需要。
情境判斷
Q1（直覺題）：如果一個注意力方法把序列分給多台機器輪流算，這比較像什麼？
→ 這就是環狀注意力。
Q2（判斷題）：環狀注意力只要用了就一定更快嗎？
→ 不一定。它主要是解記憶體瓶頸，通訊成本上升時，速度未必比單機優化更好。
相關術語
常見問題
環狀注意力如何減少記憶體需求？
A：因為每台設備只負責一部分序列和一部分注意力計算，不必把整個上下文都放在同一張卡上。
它會增加計算複雜度嗎？
A：通常會增加通訊和調度的複雜度。
什麼場景最適合用環狀注意力？
A：超長上下文或超大模型，尤其是單卡放不下的情況。