批次大小(Batch Size)是什麼?

批次大小是訓練時每次更新模型參數所使用的樣本數,直接影響訓練速度、記憶體用量與模型收斂穩定性|本頁含完整原理、應用場景、iPAS 考試重點與 3 個常見問答。

英文
Batch Size
主題標籤
模型訓練、最佳化、深度學習
考點定位
非 iPAS 核心術語
最後更新
2026/07/29
批次大小(Batch Size)是什麼? 模型訓練最佳化
術語快查

搜尋意圖: 如果你在找「批次大小 是什麼」或「批次大小 和相近概念差在哪」,先看這頁的短定義、完整說明與延伸比較。

TL;DR: 批次大小是訓練時每次更新模型參數所使用的樣本數,直接影響訓練速度、記憶體用量與模型收斂穩定性

實用情境: 適合用在閱讀 AI 文章、產品文件或和同事討論時,先用一頁快速對齊概念。

下一步: 先讀完定義,再往下看延伸比較與對應工具,把概念轉成實際應用。

訓練模型時,一次拿多少筆資料來更新參數比較剛好? 你可以把批次大小想成每次學習要看的題目數量,決定更新頻率與記憶體壓力。 它會影響訓練速度、穩定性與泛化表現。

你可以把它想成一個把抽象概念拉回日常判斷的提示,先知道它解決什麼問題,再看技術細節。

容易混淆

批次大小 vs Epoch? 批次大小:每次更新前看的樣本數 Epoch:整個訓練集看過幾輪 最關鍵的區別:批次大小看一次看幾筆,Epoch 看全資料跑幾次

批次大小 vs 學習率? 批次大小:決定梯度估計的穩定度 學習率:決定參數往哪個方向走多大步 最關鍵的區別:批次大小管資料量,學習率管步伐大小

批次大小 vs Mini-batch? 批次大小:可分成小批次與全批次 Mini-batch:介於兩者之間的常見做法 最關鍵的區別:Mini-batch 其實就是最常用的批次訓練方式

記住這句就好

一次看得越多,更新越穩,但也越吃記憶體

實際案例

GPU 記憶體有限 大模型放不下太大的批次,只好把 batch size 調小,避免訓練時爆記憶體

訓練抖動 如果 loss 上下波動很大,可能是批次太小,梯度估計太吵

算法與應用

重點 你要看什麼 為什麼重要
小批次 更新快、雜訊大 有時泛化較好但較不穩
大批次 更新穩、吃記憶體 訓練吞吐高但可能要調學習率
選擇 看硬體與任務 沒有一個固定萬用答案

iPAS 考題

Q:批次大小和學習率有關嗎? 有,批次變大時通常也要重新調整學習率,避免訓練發散或收斂太慢。

Q:批次大小越大越好嗎? 不一定。它會受記憶體、穩定性與泛化需求影響。

中英對照與三種批次方式

中文 英文 一次用幾筆資料更新
批次大小 batch size 統稱,指一次餵幾筆
全批次梯度下降 batch gradient descent 全部資料
隨機梯度下降 stochastic gradient descent 1 筆
小批次梯度下降 mini-batch gradient descent 通常 32 到 512 筆

現在講 SGD 時,實際指的幾乎都是小批次版本,純粹一次一筆的做法在深度學習裡已經沒人用。

批次大小怎麼選,取捨在哪

批次大小 梯度估計 訓練速度 記憶體 泛化
小(16 到 64) 雜訊大 每步快、總步數多 通常較好
大(512 以上) 穩定 每步慢、總步數少、能吃滿 GPU 吃重 可能較差

大批次泛化較差的現象很有名,一般的解釋是小批次的梯度雜訊本身有正則化效果,會把參數推離尖銳的極小值,落到較平坦的區域,而平坦區域對應較好的泛化。

一個實務上一定要知道的規則:改批次大小就要改學習率。

常見做法是線性縮放律(linear scaling rule):批次大小乘 k 倍,學習率也乘 k 倍。另一個常見版本是乘根號 k。無論用哪一個,只調批次不調學習率幾乎一定會讓訓練變差,很多人以為是大批次不好,其實是學習率沒跟著調。

大批次還需要搭配暖身(warmup):一開始用很小的學習率跑幾百步再升到目標值,否則初期梯度不穩定會直接發散。

顯存不夠時的解法是梯度累積(gradient accumulation)。 跑好幾個小批次、把梯度加起來、最後才更新一次,效果等同於一個大批次,代價只是時間。這讓小顯存的機器也能複現大批次的訓練設定。

情境判斷

Q1:如果你的模型訓練時一直很抖,先懷疑批次大小有沒有可能太小? → 有可能,因為太小會讓梯度估計很吵

Q2:批次大小調大後,如果訓練反而變不穩,可能只改這個參數就夠嗎? → 通常不夠,還要一起調學習率與正規化設定

常見問題

批次大小怎麼選?

先看硬體能放多少,再用驗證集測試穩定性與效果。

批次大小會影響泛化嗎?

會,較小批次常帶來較大雜訊,有時反而有助泛化。

Batch size 和 mini-batch 一樣嗎?

在很多語境裡 mini-batch 就是指實務上常用的那個批次大小。