邊緣推理 是什麼？
Edge Inference：邊緣推理 的完整解釋
邊緣推理是在邊緣設備（如手機、物聯網設備、智能硬體）本地執行機器學習模型推理，而不是發送請求到遠端伺服器。它具有低延遲、隱私保護、離線可用等優勢。
核心概念
邊緣推理（Edge Inference）代表著機器學習應用模式的一個重要轉變。傳統的伺服器端推理模式是：用戶在客户端生成請求，發送到遠端伺服器，伺服器執行推理，返回結果。這個模式的問題是：延遲受網絡往返時間限制（通常 100ms 以上），用戶數據需要傳輸到伺服器（隱私風險），當網絡不可用時無法工作。
邊緣推理将模型部署到用戶設備上，推理在本地執行。這樣可以完全避免網絡延遲，數據完全留在用戶設備上，即使離線也能工作。邊緣推理特別適合對延遲敏感的應用（如實時語音識別、視覺識別）和隱私敏感的應用（如健康監測、個人數據分析）。
運作原理
邊緣推理的技術棧包括以下層次：
模型準備：邊緣推理使用的模型通常比伺服器端模型更小。這可以通過前面提到的推理最佳化技術實現（量化、剪枝、蒸餾）。例如，手機上的語音識別模型可能只有 50MB，而伺服器上的模型可能是 500MB。
邊緣推理框架：框架負責在目標設備上加載和執行模型。不同設備有不同的框架：iOS 使用 Core ML，Android 使用 TensorFlow Lite，各種物聯網設備可能使用 ONNX Runtime 或 PyTorch Lite。框架通常針對目標硬體進行了最佳化，利用設備特有的 GPU、NPU（神經處理單元）等加速硬體。
特徵計算：邊緣推理可能需要在設備端進行特徵計算（如音頻預處理），然後再輸入到模型。這與伺服器端不同，伺服器端的特徵可能由特徵存儲提供。
模型更新機制：設備上的模型需要定期更新。更新機制可以是：用戶主動更新應用（下載新版應用包含新模型）、應用自動檢測更新並下載（分發給設備較新的模型文件）、或服務端通過推送更新模型。邊緣推理系統需要考慮帶寬成本和版本管理的複雜性。
監控與反饋：由於模型運行在用戶設備上，無法直接監控。因此需要設計反饋機制：用戶可以標記模型預測結果的正確性（如「這個推薦不好」），反饋被上傳到伺服器用於模型改進。
實際應用
考慮一個手機拍照搜尋應用的邊緣推理實現：
背景：應用允許用戶拍一張物體的照片，應用返回該物體的信息（名稱、來源、購買鏈接等）。傳統方式是上傳照片到伺服器進行物體識別。
邊緣推理部署：應用團隊使用知識蒸餾將伺服器上的物體識別模型（200MB，99% 準確率）蒸餾為手機模型（10MB，97% 準確率）。模型被轉換為 TensorFlow Lite 格式，包含在應用中。
推理流程：用戶拍照後，應用：1) 在本地執行物體識別（300ms），得到物體類別；2) 根據類別查詢本地數據庫或發送網絡請求獲取詳細信息。整個流程的延遲主要來自物體識別（300ms），而傳統方案的延遲來自網絡往返（1 秒以上）。
模型更新：應用發佈新版本時包含更新的模型。或者，應用在后台定期檢查伺服器是否有新模型，如果有則下載（下載發生在 WiFi 環境，避免消耗用戶流量）。
隱私保護：用戶的照片完全在設備本地處理，不被上傳，保護了隱私。
常見誤區
誤區 1：邊緣推理可以完全替代伺服器端推理
邊緣推理適合簡單、輕量的模型，但無法替代伺服器端推理來進行複雜分析。例如，個性化推薦需要利用用戶的歷史數據和大規模協同過濾，這些計算量太大無法在手機上執行。合理的架構是：簡單的操作在邊緣執行（如本地分類、搜尋），複雜的操作在伺服器執行（如個性化）。
誤區 2：邊緣推理沒有隱私問題
雖然模型在本地執行，但訓練模型的數據來自用戶（通過應用使用收集），仍然涉及隱私問題。此外，邊緣推理的模型本身可能被逆向工程，洩露商業秘密。因此邊緣推理提高了隱私水準，但並未完全消除隱私風險。應該結合聯邦學習等技術進一步保護隱私。
誤區 3：邊緣推理模型無需監控
邊緣推理模型運行在分散的設備上，無法直接監控。但模型性能漂移仍然會發生（例如新型手機硬體、新的輸入分佈）。應該設計反饋機制，收集用戶反饋用於檢測模型性能下降。另外應該定期發佈模型更新，確保用戶設備上的模型是最新版本。
與相關技術的比較
邊緣推理 vs. 伺服器端推理：邊緣推理優勢是低延遲、隱私、離線可用，劣勢是模型大小和複雜度受限、版本管理困難。伺服器端推理優勢是模型複雜度不受限、易於監控和更新，劣勢是延遲高、隱私風險。實踐中常採用混合方案：簡單操作在邊緣，複雜操作在伺服器。
邊緣推理 vs. 特徵預計算：特徵預計算是在伺服器側離線計算特徵並存儲，推理時直接查詢特徵。邊緣推理是在設備端計算特徵和推理。特徵預計算適合特徵複雜但推理簡單的場景，邊緣推理適合推理複雜但特徵計算簡單的場景。
邊緣推理 vs. 聯邦學習：聯邦學習是在分散設備上進行模型訓練（或微調），而邊緣推理只進行推理。邊緣推理可以與聯邦學習結合，設備在本地執行推理，同時參與全局模型的訓練改進。