# 環狀注意力（Ring Attention）

環狀注意力是一種分散式注意力機制，將注意力計算分散到多個設備上，減少單一設備的記憶體需求，適用於超大型模型。

## 完整說明

環狀注意力是一種針對超大型模型設計的分散式注意力機制。它將注意力計算分散到多個設備（例如GPU）上，每個設備只儲存部分注意力矩陣，並透過環狀通信的方式交換資訊。這種方法顯著降低了單一設備的記憶體需求，使得訓練和部署超大型模型成為可能。

## 常見問題

### undefined



### undefined



### undefined



---

來源：https://aiterms.tw/terms/ring-attention
快查頁：https://aiterms.tw/terms/ring-attention
深度解說：https://aiterms.tw/learning/what-is-ring-attention