完整定義
模型量化是一種模型壓縮技術,用於減少深度學習模型的大小和計算複雜度。它能夠將模型中浮點數(如32位浮點數)轉換為低精度整數(如8位整數),從而降低記憶體佔用和加速推論速度。常見應用包括在行動裝置和嵌入式系統上部署模型。
白話說明
你要把模型塞進手機或小 GPU 時,會不會第一個想到把權重變小一點?
你可以把量化想成把數字用更省空間的方式保存,讓模型更輕、更快。
它常用在推論階段,目的就是降低記憶體占用和運算成本。
記住這句
把數字壓得更小,模型就更省空間。
比喻:模型量化就像把高清照片轉成網路縮圖 -- 它把模型的「精細度」(權重數值精度)降低,讓檔案變小,處理速度更快,但可能會犧牲一點點準確度。
容易混淆
量化 vs 剪枝
量化是把數值精度壓低。
剪枝是把不重要的連結移除。
最關鍵的區別:一個改數字表示,一個改模型結構。
量化 vs LoRA
LoRA 是低秩適配的方法。
量化是壓縮模型數值精度的方法。
最關鍵的區別:一個是訓練方法,一個是壓縮方法。
量化 vs 混合精度訓練
混合精度訓練是在訓練時混用不同精度。
量化通常是把模型壓到較低精度以利部署。
最關鍵的區別:一個偏訓練,一個偏部署。
實際案例
手機部署
語音辨識模型如果要跑在手機上,量化常是先考慮的降本方法。
它能讓模型更容易放進有限記憶體。
雲端推論
線上服務如果想降低 GPU 記憶體壓力,常會先評估 8 位元或 4 位元量化。
這有時也能讓吞吐量更好。
演算法與應用
量化常分為訓練後量化和量化感知訓練,前者較快,後者通常精度更穩。
位元數越低,模型越省,但誤差也越容易累積。
實務上常拿它和剪枝、蒸餾一起做模型壓縮。
中英對照與常見的精度等級
中國大陸的文獻寫作「量化处理」或「模型量化」,指的是同一件事。要注意「量化」在金融領域是完全不同的意思(量化交易),看到這個詞先確認領域。
- 中文
- 量化
- 英文
- quantization
- 說明
- 用較少的位元表示模型權重或啟動值
- 中文
- 訓練後量化
- 英文
- Post-Training Quantization(PTQ)
- 說明
- 訓練完才量化,不需重新訓練
- 中文
- 量化感知訓練
- 英文
- Quantization-Aware Training(QAT)
- 說明
- 訓練時就模擬量化誤差
- 中文
- 校準
- 英文
- calibration
- 說明
- 用少量資料決定量化的數值範圍
各種精度差多少
表中的容量只算權重本身,實際執行還要加上 KV 快取與運算暫存,所以真正需要的顯存會更多。
這張表說明了量化為什麼重要:同一個 70B 模型,FP16 要多張高階顯卡,INT4 之後單張消費級顯卡就有機會跑得動。本地部署的整個生態幾乎都建立在這件事上。
- 精度
- FP32
- 每個參數佔用
- 4 bytes
- 70B 模型約需
- 約 280 GB
- 品質影響
- 基準
- 精度
- FP16 / BF16
- 每個參數佔用
- 2 bytes
- 70B 模型約需
- 約 140 GB
- 品質影響
- 幾乎無損,現在的訓練標準
- 精度
- INT8
- 每個參數佔用
- 1 byte
- 70B 模型約需
- 約 70 GB
- 品質影響
- 多數任務差異很小
- 精度
- INT4
- 每個參數佔用
- 0.5 byte
- 70B 模型約需
- 約 35 GB
- 品質影響
- 可用,但有明顯可測得的退化
量化為什麼會有效,以及它的代價
有效的原因是神經網路的權重分布通常集中在 0 附近,而且模型對權重的小幅擾動有相當的容忍度。把連續的浮點數對應到有限個離散等級,損失的資訊比直覺想的少。
代價主要有兩個。
離群值會毀掉量化品質。 大型語言模型的某些啟動值會出現極端大的數字,如果用同一個尺度量化整層,這些離群值會把量化區間撐得很寬,其他數值全部擠在少數幾個等級裡。GPTQ、AWQ、SmoothQuant 這些方法的核心都在處理這件事,做法是分組量化或把離群值另外處理。
量化不一定變快。 記憶體佔用一定會降,但速度取決於硬體有沒有對應精度的運算單元。沒有原生 INT4 支援的硬體上,反量化的開銷可能把好處吃掉。所以判斷要不要量化時,記憶體與速度要分開評估。
情境判斷
Q1(直覺題): 你想讓模型更省記憶體,但又不想重訓整個模型,先考慮什麼?
先考慮量化,因為它是最直接的壓縮手段之一。
Q2(判斷題): 量化位元數越低就一定越好嗎?
不一定,位元數越低雖然越省,但準度掉太多時就不划算,要看部署目標。
常見問題
有可能,但幅度取決於位元數、模型結構和任務本身。
通常會變快或變省,但實際效果也要看硬體是否支援。
量化是壓縮的一種方式,壓縮還包含剪枝、蒸餾等做法。
訓練後量化(PTQ)直接把訓練好的模型轉成低精度,只需要少量校準資料,速度快。量化感知訓練(QAT)在訓練時就模擬量化誤差,讓模型學會適應,在低位元時準確度通常較好,但要重新訓練。一般先試 PTQ,準確度掉太多再考慮 QAT。
量化誤差是原始連續數值和量化後離散數值之間的差距,例如把浮點數四捨五入到最近的整數等級時產生的捨入誤差。訊號處理常把它看成疊加在訊號上的雜訊,稱為量化雜訊。位元數越少、等級越粗,誤差通常越大。
這類標示通常代表模型的量化版本。INT8 是權重用 8 位元整數儲存,Q4 一類的標示常見於 GGUF 等格式,大致代表每個權重約用 4 位元。位元數越低,檔案越小、需要的記憶體越少,但準確度可能下降,實際命名規則依各格式與發布者的說明為準。
出現在這些考古題
官方公告試題的逐題解析裡,這 5 題把模型量化列為延伸術語。
相關術語
來源
這個術語目前沒有標註外部來源。
其他格式:Markdown 版本