高效神經網路 是什麼？
Efficient Neural Networks：高效神經網路 的完整解釋
針對計算、內存、功耗等資源約束進行優化的神經網路，在保持性能的同時減少參數量和計算複雜度。
核心概念
高效神經網路（Efficient Neural Networks）是應對神經網路規模爆炸的直接回應。現代深度學習模型日益龐大，GPT-3 有 1750 億參數，BERT-base 有 1.1 億參數，這給部署帶來挑戰：推理延遲高、內存需求大、能耗驚人。高效神經網路旨在在這些約束下保持模型性能。
高效化的核心思想是利用結構化稀疏性、冗餘性和低秩性。神經網路中許多參數對最終輸出的貢獻很小，可被刪除；某些層的輸出可被低秩近似；某些計算可通過整數運算替代浮點運算。高效神經網路通過有針對性地利用這些特性，實現 10-100 倍的減速。
運作原理
高效化技術主要包括六大類：
1. 量化（Quantization）
神經網路的權重和激活通常用 32 位浮點表示，量化將其轉為 8 位或更低位整數，將模型大小減 4 倍，推理速度提 4-10 倍。量化分為後量化（訓練後直接量化）和量化感知訓練（在訓練中模擬量化誤差）。極端情況，二值化和三值化網路只用 1-2 位表示權重，雖精度下降但部署成本最低。
2. 修剪（Pruning）
移除對模型精度影響不大的參數和連接。權重修剪根據權重幅度刪除小值；神經元修剪刪除不活躍的神經元；結構化修剪刪除整個通道或層以保持硬體兼容性。修剪後的稀疏模型可用特殊硬體加速，推理速度提 2-10 倍。
3. 知識蒸餾（Knowledge Distillation）
用大型「教師」網路的知識訓練小型「學生」網路。學生網路不僅學習真實標籤，還學習教師的軟輸出（概率分佈），捕捉教師的高階知識。蒸餾常將模型壓縮 10-100 倍，同時保留 90% 以上的原始精度。
4. 低秩分解（Low-rank Factorization）
將大型矩陣分解為低秩矩陣的乘積。例如，全連接層的權重矩陣分解為兩個小矩陣的乘積，減少參數量和計算量。SVD（奇異值分解）和 Tucker 分解是常用方法。
5. 架構輕量化
設計本質上輕量級的架構。深度可分離卷積將標準卷積分解為逐通道卷積和 1×1 卷積，計算量降至 1/8-1/9。分組卷積減少通道間的互作用。倒瓶頸結構（如 MobileNet v2 中的）在中間擴展維度再壓縮，提升非線性表達。神經架構搜索（NAS）自動設計輕量級架構。
6. 混合精度（Mixed Precision）
不同層使用不同精度。計算不敏感層用低精度（8 位），計算敏感層用高精度（16 位），平衡精度和效率。現代加速器（Tensor RT、GPU）原生支持混合精度，實現無額外成本的加速。
實際應用
高效神經網路已成為工業界標準。蘋果在 iPhone 上使用量化和蒸餾的模型進行人臉識別、對象檢測。Google 的 MobileNet 系列和 SqueezeNet 廣泛用於手機和物聯網設備。騰訊和阿里使用高效模型在推薦系統中進行實時預測。
邊緣計算領域，NVIDIA Jetson、Google TPU Edge 等設備依賴高效模型進行視頻分析、自動駕駛決策。在資源受限的開發中國家，高效模型使 AI 應用可在低端手機上運行。自動駕駛汽車對推理延遲要求嚴格，必須使用經過高度優化的高效模型。
常見誤區
許多人認為高效化必然大幅犧牲精度，但實際上經過精心設計，高效模型與原始模型的性能差異往往在 1-5% 以內。例如，量化感知訓練可將量化誤差降至最小；知識蒸餾能讓小模型逼近大模型性能。
另一個誤區是認為高效化是一次性工作。實際上，模型、數據、硬體都在演進，高效化策略需持續調整。新推出的加速硬體可能對某些操作加速，改變了原有最優架構。新數據分佈可能導致量化精度下降，需要重新校準。
此外，高效化往往是多目標優化問題，無法同時最優化所有指標。量化提速但可能降精度；修剪減參數但可能增延遲（稀疏模型硬體支持不足）。選擇策略需根據具體應用的約束條件。
與相關技術的比較
- 與知識蒸餾：蒸餾是高效化的一種手段，專注於用小模型複製大模型能力
- 與神經架構搜索：NAS 搜索輕量級架構，高效化針對既有架構優化
- 與量化感知訓練：QAT 是量化的高級形式，高效化包括量化、修剪、蒸餾等多種技術
- 與硬體加速：硬體加速改善計算效率，高效化減少計算量本身，兩者相輔相成
- 與分散式推理：分散式推理在多設備間分割模型，高效化在單設備上優化模型