AITerms 登入
機器學習深度學習模型訓練

分散式訓練(Distributed Training)是什麼?

分散式訓練利用多個計算節點,將模型訓練任務分割並行處理,加速大型模型訓練,提升效率。

完整定義

分散式訓練是一種機器學習技術,旨在利用多個計算節點(例如多個GPU或多台機器)並行處理模型訓練任務。透過將資料或模型分割到不同的節點上,可以顯著縮短訓練時間,並處理單一機器無法負荷的大型模型和資料集。

白話說明

你訓練大模型時,單機跑不動怎麼辦?

你可以把 分散式訓練 想成把訓練拆給多台機器一起做的工作方式。

它其實就是讓資料或模型分攤到不同節點,換取更快的訓練速度和更大的容量。

分散式訓練利用多個計算節點,將模型訓練任務分割並行處理,加速大型模型訓練,提升效率。當單機記憶體不夠或訓練時間太長時,這通常就是正解。

記住這句

把訓練切給多台機器一起做

比喻:分散式訓練就像「分工合作蓋房子」 -- 一棟摩天大樓如果只靠一個工人蓋,要蓋到天荒地老;但如果把任務分成許多小部分,讓幾百個工人同時動工,就能大幅縮短建造時間,更快完成。

容易混淆

vs 單機訓練

單機訓練像一個人獨自完成所有工作,速度慢且有極限;分散式訓練則像一個團隊,每個人負責一部分,雖然需要協調,但整體效率和處理能力遠超單機,尤其適合處理大型任務。

實際案例

案例一:分散式訓練 訓練超大模型

單張 GPU 裝不下參數時,資料和模型會被切到多台機器上,大家一起算梯度。

案例二:分散式訓練 跑大資料集

當樣本量非常大,分散式訓練能把時間壓下來,但同步和通訊成本也會跟著升高。

深入了解

分散式訓練常見的切法是資料並行和模型並行

前者是每台機器學不同資料,後者是每台機器放模型的一部分

真正的難點除了速度,還有同步、通訊和故障容忍

情境判斷

Q1(直覺題): 單機塞不下或跑太慢的大模型,最常怎麼辦?

把訓練拆到多台機器上,讓大家一起跑。

Q2(判斷題): 只要機器數量變多,訓練就一定線性變快嗎?

看情況,因為同步通訊、資料切分和硬體瓶頸都可能拖慢速度,不是單純堆機器就解決。

常見問題

出現在這些考古題

官方公告試題的逐題解析裡,這 3 題把分散式訓練列為延伸術語。

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本