資料分片 vs 模型平行化
Data Sharding vs Model Parallelism
資料分片 側重 將大規模資料集水平切割為多個獨立區塊，以提升平行處理效率與降低記憶體負荷。，而 模型平行化 側重 模型平行化是一種將大型模型分割到多個裝置上進行訓練或推論的技術，以克服單一裝置的記憶體限制。。
逐項比較
| 項目 | 資料分片 | 模型平行化 |
|---|---|---|
| 一句定義 | 將大規模資料集水平切割為多個獨立區塊，以提升平行處理效率與降低記憶體負荷。 | 模型平行化是一種將大型模型分割到多個裝置上進行訓練或推論的技術，以克服單一裝置的記憶體限制。 |
| 常見標籤 | 資料處理、模型訓練、MLOps、大型語言模型、source:ipas | 深度學習、模型訓練、模型部署、神經網路、最佳化、大型語言模型、MLOps、Python程式、iPAS中級 |
| iPAS 關聯度 | 未知 | 未知 |
| 考生最常問 | 實施資料分片時，如果選擇了錯誤的分片鍵會造成什麼嚴重的後果？ | 模型平行化只能用在訓練嗎？ |