AITerms 登入
機器學習深度學習模型部署

模型量化(Quantization)是什麼?

模型量化是一種降低模型大小和加速推論的技術,透過減少模型權重和激活值的精度來實現。

完整定義

模型量化是一種模型壓縮技術,用於減少深度學習模型的大小和計算複雜度。它能夠將模型中浮點數(如32位浮點數)轉換為低精度整數(如8位整數),從而降低記憶體佔用和加速推論速度。常見應用包括在行動裝置和嵌入式系統上部署模型。

白話說明

你要把模型塞進手機或小 GPU 時,會不會第一個想到把權重變小一點?

你可以把量化想成把數字用更省空間的方式保存,讓模型更輕、更快。

它常用在推論階段,目的就是降低記憶體占用和運算成本。

記住這句

把數字壓得更小,模型就更省空間。

比喻:模型量化就像把高清照片轉成網路縮圖 -- 它把模型的「精細度」(權重數值精度)降低,讓檔案變小,處理速度更快,但可能會犧牲一點點準確度。

容易混淆

量化 vs 剪枝

量化是把數值精度壓低。

剪枝是把不重要的連結移除。

最關鍵的區別:一個改數字表示,一個改模型結構。

量化 vs LoRA

LoRA 是低秩適配的方法。

量化是壓縮模型數值精度的方法。

最關鍵的區別:一個是訓練方法,一個是壓縮方法。

量化 vs 混合精度訓練

混合精度訓練是在訓練時混用不同精度。

量化通常是把模型壓到較低精度以利部署。

最關鍵的區別:一個偏訓練,一個偏部署。

實際案例

手機部署

語音辨識模型如果要跑在手機上,量化常是先考慮的降本方法。

它能讓模型更容易放進有限記憶體。

雲端推論

線上服務如果想降低 GPU 記憶體壓力,常會先評估 8 位元或 4 位元量化。

這有時也能讓吞吐量更好。

演算法與應用

量化常分為訓練後量化和量化感知訓練,前者較快,後者通常精度更穩。

位元數越低,模型越省,但誤差也越容易累積。

實務上常拿它和剪枝、蒸餾一起做模型壓縮。

中英對照與常見的精度等級

中國大陸的文獻寫作「量化处理」或「模型量化」,指的是同一件事。要注意「量化」在金融領域是完全不同的意思(量化交易),看到這個詞先確認領域。

中文
量化
英文
quantization
說明
用較少的位元表示模型權重或啟動值
中文
訓練後量化
英文
Post-Training Quantization(PTQ)
說明
訓練完才量化,不需重新訓練
中文
量化感知訓練
英文
Quantization-Aware Training(QAT)
說明
訓練時就模擬量化誤差
中文
校準
英文
calibration
說明
用少量資料決定量化的數值範圍

各種精度差多少

表中的容量只算權重本身,實際執行還要加上 KV 快取與運算暫存,所以真正需要的顯存會更多。

這張表說明了量化為什麼重要:同一個 70B 模型,FP16 要多張高階顯卡,INT4 之後單張消費級顯卡就有機會跑得動。本地部署的整個生態幾乎都建立在這件事上。

精度
FP32
每個參數佔用
4 bytes
70B 模型約需
約 280 GB
品質影響
基準
精度
FP16 / BF16
每個參數佔用
2 bytes
70B 模型約需
約 140 GB
品質影響
幾乎無損,現在的訓練標準
精度
INT8
每個參數佔用
1 byte
70B 模型約需
約 70 GB
品質影響
多數任務差異很小
精度
INT4
每個參數佔用
0.5 byte
70B 模型約需
約 35 GB
品質影響
可用,但有明顯可測得的退化

量化為什麼會有效,以及它的代價

有效的原因是神經網路的權重分布通常集中在 0 附近,而且模型對權重的小幅擾動有相當的容忍度。把連續的浮點數對應到有限個離散等級,損失的資訊比直覺想的少。

代價主要有兩個。

離群值會毀掉量化品質。 大型語言模型的某些啟動值會出現極端大的數字,如果用同一個尺度量化整層,這些離群值會把量化區間撐得很寬,其他數值全部擠在少數幾個等級裡。GPTQ、AWQ、SmoothQuant 這些方法的核心都在處理這件事,做法是分組量化或把離群值另外處理。

量化不一定變快。 記憶體佔用一定會降,但速度取決於硬體有沒有對應精度的運算單元。沒有原生 INT4 支援的硬體上,反量化的開銷可能把好處吃掉。所以判斷要不要量化時,記憶體與速度要分開評估。

情境判斷

Q1(直覺題): 你想讓模型更省記憶體,但又不想重訓整個模型,先考慮什麼?

先考慮量化,因為它是最直接的壓縮手段之一。

Q2(判斷題): 量化位元數越低就一定越好嗎?

不一定,位元數越低雖然越省,但準度掉太多時就不划算,要看部署目標。

常見問題

出現在這些考古題

官方公告試題的逐題解析裡,這 5 題把模型量化列為延伸術語。

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本