搜尋意圖： 如果你在找「模型量化 是什麼」或「模型量化 和相近概念差在哪」，先看這頁的短定義、完整說明與延伸比較。
TL;DR： 模型量化是一種降低模型大小和加速推論的技術，透過減少模型權重和激活值的精度來實現。
實用情境： 適合用在閱讀 AI 文章、產品文件或和同事討論時，先用一頁快速對齊概念。
下一步： 先讀完定義，再往下看延伸比較與對應工具，把概念轉成實際應用。
你要把模型塞進手機或小 GPU 時，會不會第一個想到把權重變小一點？
你可以把量化想成把數字用更省空間的方式保存，讓模型更輕、更快。 它常用在推論階段，目的就是降低記憶體占用和運算成本。
你可以把它想成一個把抽象概念拉回日常判斷的提示，先知道它解決什麼問題，再看技術細節。
容易混淆
量化 vs 剪枝 量化是把數值精度壓低。 剪枝是把不重要的連結移除。 最關鍵的區別：一個改數字表示，一個改模型結構。
量化 vs LoRA LoRA 是低秩適配的方法。 量化是壓縮模型數值精度的方法。 最關鍵的區別：一個是訓練方法，一個是壓縮方法。
量化 vs 混合精度訓練 混合精度訓練是在訓練時混用不同精度。 量化通常是把模型壓到較低精度以利部署。 最關鍵的區別：一個偏訓練，一個偏部署。
記住這句就好
把數字壓得更小，模型就更省空間。
實際案例
手機部署 語音辨識模型如果要跑在手機上，量化常是先考慮的降本方法。 它能讓模型更容易放進有限記憶體。
雲端推論 線上服務如果想降低 GPU 記憶體壓力，常會先評估 8 位元或 4 位元量化。 這有時也能讓吞吐量更好。
算法與應用
量化常分為訓練後量化和量化感知訓練，前者較快，後者通常精度更穩。 位元數越低，模型越省，但誤差也越容易累積。 實務上常拿它和剪枝、蒸餾一起做模型壓縮。
中英對照與常見的精度等級
| 中文 | 英文 | 說明 |
|---|---|---|
| 量化 | quantization | 用較少的位元表示模型權重或啟動值 |
| 訓練後量化 | Post-Training Quantization（PTQ） | 訓練完才量化，不需重新訓練 |
| 量化感知訓練 | Quantization-Aware Training（QAT） | 訓練時就模擬量化誤差 |
| 校準 | calibration | 用少量資料決定量化的數值範圍 |
中國大陸的文獻寫作「量化处理」或「模型量化」，指的是同一件事。要注意「量化」在金融領域是完全不同的意思（量化交易），看到這個詞先確認領域。
各種精度差多少
| 精度 | 每個參數佔用 | 70B 模型約需 | 品質影響 |
|---|---|---|---|
| FP32 | 4 bytes | 約 280 GB | 基準 |
| FP16 / BF16 | 2 bytes | 約 140 GB | 幾乎無損，現在的訓練標準 |
| INT8 | 1 byte | 約 70 GB | 多數任務差異很小 |
| INT4 | 0.5 byte | 約 35 GB | 可用，但有明顯可測得的退化 |
表中的容量只算權重本身，實際執行還要加上 KV 快取與運算暫存，所以真正需要的顯存會更多。
這張表說明了量化為什麼重要：同一個 70B 模型，FP16 要多張高階顯卡，INT4 之後單張消費級顯卡就有機會跑得動。本地部署的整個生態幾乎都建立在這件事上。
量化為什麼會有效，以及它的代價
有效的原因是神經網路的權重分布通常集中在 0 附近，而且模型對權重的小幅擾動有相當的容忍度。把連續的浮點數對應到有限個離散等級，損失的資訊比直覺想的少。
代價主要有兩個。
離群值會毀掉量化品質。 大型語言模型的某些啟動值會出現極端大的數字，如果用同一個尺度量化整層，這些離群值會把量化區間撐得很寬，其他數值全部擠在少數幾個等級裡。GPTQ、AWQ、SmoothQuant 這些方法的核心都在處理這件事，做法是分組量化或把離群值另外處理。
量化不一定變快。 記憶體佔用一定會降，但速度取決於硬體有沒有對應精度的運算單元。沒有原生 INT4 支援的硬體上，反量化的開銷可能把好處吃掉。所以判斷要不要量化時，記憶體與速度要分開評估。
情境判斷
Q1（直覺題）： 你想讓模型更省記憶體，但又不想重訓整個模型，先考慮什麼？
→ 先考慮量化，因為它是最直接的壓縮手段之一。
Q2（判斷題）： 量化位元數越低就一定越好嗎？
→ 不一定，位元數越低雖然越省，但準度掉太多時就不划算，要看部署目標。
常見問題
量化一定會掉準度嗎？
有可能，但幅度取決於位元數、模型結構和任務本身。
推論一定會變快嗎？
通常會變快或變省，但實際效果也要看硬體是否支援。
量化和壓縮是不是同一件事？
量化是壓縮的一種方式，壓縮還包含剪枝、蒸餾等做法。