AITerms 登入
機器學習深度學習模型部署

模型剪枝(Pruning)是什麼?

模型剪枝是一種減少模型大小和計算複雜度的技術,透過移除模型中不重要的權重或神經元來實現。

完整定義

模型剪枝是一種模型壓縮技術,用於減少深度學習模型的大小和計算複雜度。它能夠識別並移除模型中不重要的權重或神經元,從而降低記憶體佔用和加速推論速度。常見應用包括在資源受限的設備上部署模型和加速模型訓練。

白話說明

你要把模型放到手機或小型伺服器上時,會不會第一個想到把它變小一點?

你可以把剪枝想成把不重要的連結先拿掉,讓模型保留重點、減少負擔。

它的目標不是重做模型,而是在盡量不掉太多準度的前提下,讓模型更省記憶體、更快推論。

記住這句

砍掉不重要的連結,讓模型更輕更快。

比喻:模型剪枝就像修剪一棵過於茂盛的樹 -- 為了讓樹長得更好、更有效率,我們會把那些枯枝爛葉或是不必要的小枝條剪掉(不重要的權重或神經元),讓養分集中到主幹和重要的枝條上,這樣樹看起來更精實,也更容易照顧。

容易混淆

剪枝 vs 量化

量化是把數值精度壓低。

剪枝是把不重要的權重或神經元直接移除。

最關鍵的區別:一個改數字表示,一個砍連結。

剪枝 vs 知識蒸餾

知識蒸餾是用大模型教小模型。

剪枝是直接把原模型縮小。

最關鍵的區別:一個重新學,一個直接瘦身。

剪枝 vs 正則化

正則化是在訓練時限制模型別長太複雜。

剪枝是在訓練後或訓練中把多餘部分移除。

最關鍵的區別:一個管學習過程,一個管模型結構。

實際案例

手機端分類器

把影像分類模型裡很少被用到的權重剪掉後,裝置端推論會明顯變快。

如果準度幾乎不變,這種縮小就很划算。

雲端服務降成本

服務端想降低 GPU 成本時,會先看能不能用結構化剪枝減少計算量。

這比單純換更大的主機更省。

演算法與應用

常見做法有非結構化剪枝和結構化剪枝,前者砍零散權重,後者砍整個通道或神經元。

判斷哪些部分重要,常會看權重大小、梯度或對驗證集的影響。

剪完通常還要再微調,否則準度容易掉太多。

中英對照與常見說法

注意「剪枝」在決策樹的脈絡下是另一件事:那裡指的是把樹的分支砍掉以避免過度擬合(pre-pruning 與 post-pruning),跟神經網路剪枝的目的不同,一個為了泛化,一個為了效率。

說法
剪枝 / 模型剪枝
出現場合
中文正式用語,台灣與中國大陸通用
說法
Pruning / Model Pruning
出現場合
英文原名
說法
修剪、裁剪
出現場合
口語說法,意思相同
說法
Network Pruning
出現場合
論文裡常見的完整說法

結構化與非結構化,這是最關鍵的分野

選哪一種取決於部署環境。目標是通用 GPU 或手機,通常只有結構化剪枝才拿得到真實的速度提升。目標硬體支援稀疏矩陣運算時,非結構化剪枝才划算。

移除單位
非結構化剪枝
單個權重
結構化剪枝
整個通道、濾波器或注意力頭
壓縮率
非結構化剪枝
高,可以移除九成以上權重
結構化剪枝
較低,通常三成到五成
實際加速
非結構化剪枝
需要稀疏運算支援,一般硬體上常常沒有加速
結構化剪枝
直接變小,任何硬體都會變快
精度損失
非結構化剪枝
相對小
結構化剪枝
相對大,需要較多微調

標準流程與判準

標準三步是訓練、剪枝、微調,而且常常要迭代多輪。一次剪掉八成通常救不回來,分成四輪每輪剪一半再微調,最終精度會好很多。

怎麼決定剪哪些:最簡單也最常用的判準是權重的絕對值大小,小的先剪。進階做法會看梯度或用泰勒展開估計「移除這個權重會讓損失上升多少」,準確度較高但計算成本也高。

每層的剪枝率不該相同。淺層通常對精度較敏感,深層冗餘較多。統一設一個比例是最省事但也最容易掉精度的做法。

樂透假說(Lottery Ticket Hypothesis) 指出,一個大網路裡存在一個小的子網路,如果從一開始就用原本的初始值單獨訓練它,能達到接近原網路的表現。這個發現的實務意義是:剪枝之後把權重重設回原始初始值再訓練,有時比直接微調更好。

情境判斷

Q1(直覺題): 你已經有一個訓練好的模型,只想讓它跑得更快,先考慮什麼?

先看剪枝或量化,因為它們都是為了把現有模型變輕巧。

Q2(判斷題): 如果你想大幅縮小模型,但不太想改變數值精度,剪枝一定是唯一選項嗎?

不是,還可以考慮蒸餾或量化,要看你比較在意結構大小還是數值壓縮。

常見問題

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

參考來源:en.wikipedia.org

其他格式:Markdown 版本