# 模型平行化（Model Parallelism）

模型平行化是一種將大型模型分割到多個裝置上進行訓練或推論的技術，以克服單一裝置的記憶體限制。

## 完整說明

模型平行化是一種分散式訓練策略，它將大型神經網路模型分割成多個部分，並將這些部分分配到不同的計算裝置（例如GPU）上。這樣做可以克服單一裝置的記憶體限制，使得訓練或推論非常大的模型成為可能。模型平行化通常需要仔細的設計，以確保各個部分之間的有效通信和同步。

## 常見問題

### undefined



### undefined



### undefined



---

來源：https://aiterms.tw/terms/model-parallelism
快查頁：https://aiterms.tw/terms/model-parallelism
深度解說：https://aiterms.tw/learning/what-is-model-parallelism