完整定義
資料並行是一種常見的分散式訓練策略,其核心思想是將訓練資料分割成多個子集,每個計算節點(例如GPU)都擁有一份完整的模型副本,但使用不同的資料子集進行訓練。每個節點獨立計算梯度,然後將梯度同步到一個中心節點或使用All-Reduce等方法進行聚合,最後更新模型參數。
白話說明
你有沒有在多台機器上一起訓練大模型時,還在想這件事到底該怎麼看?
把它想成把同一份作業分給很多人同時寫。
它是分散式訓練最常見的方法之一,因為每台機器都跑完整模型。
只要同步好梯度,就能把資料切開、把訓練速度拉快。
記住這句
資料切開,模型每台都一樣。
比喻:資料並行就像一群學生分工寫同一份考卷 -- 老師把考卷影印多份,每個學生寫不同部分的題目,最後再把所有答案彙整起來,這樣可以更快地完成考卷。
容易混淆
model-parallelism
vs 模型並行 (Model Parallelism):資料並行是把資料切開,每個機器跑完整模型;模型並行是把模型切開,每個機器跑模型一部分,兩者都是為了加速訓練,但分工方式不同。
常見混淆:資料並行 vs model-parallelism
資料並行是切資料,模型並行是切模型。
實際案例
GPU 叢集
每張 GPU 處理不同 mini-batch,最後同步更新參數。
大語言模型預訓練
資料量超大時,把樣本分散到多個節點一起算。
演算法與應用
1. 優點是好理解、容易擴展,也比較適合大多數訓練框架。
2. 真正的瓶頸通常是梯度同步和網路傳輸。
3. 當模型太大時,資料並行可能不夠,這時要考慮模型並行。
情境判斷
Q1:多台機器一起訓練同一個模型,最典型的分工方式是什麼?
把資料切開,每台機器跑完整模型,這就是資料並行。
Q2:如果同步梯度很慢,先懷疑什麼?
先懷疑網路瓶頸或節點數太多。
常見問題
資料並行的主要優點是易於實現和理解,並且可以有效地利用多個計算節點的計算能力。它允許使用更多的計算資源,並行處理訓練任務,從而縮短訓練時間,並提高模型訓練的效率。
資料並行的主要缺點是需要同步梯度,這可能會引入通信瓶頸,尤其是在節點數量較多或網路頻寬有限的情況下。此外,資料分割策略也會影響訓練的收斂速度和模型效能。
選擇梯度同步方法需要考慮多個因素,包括計算節點的數量、網路頻寬、模型的大小等。參數伺服器適用於節點數量較少的情況,而All-Reduce適用於節點數量較多且網路頻寬較高的情況。
出現在這些考古題
官方公告試題的逐題解析裡,這 1 題把資料並行列為延伸術語。
相關術語
來源
這個術語目前沒有標註外部來源。
其他格式:Markdown 版本