邊緣運算 是什麼？
Edge Computing：邊緣運算 的完整解釋
將計算與資料處理從中心化雲端移至靠近資料來源的終端裝置或區域節點，以降低延遲並減少頻寬需求。
Edge Computing（邊緣運算）是 AI 基礎設施演進的重要方向，尤其在物聯網（IoT）普及與 5G 網路擴展的背景下，其重要性持續提升。傳統雲端集中式架構在面對大規模終端裝置部署時，遭遇延遲、頻寬、隱私與可靠性等多重瓶頸，邊緣運算正是為解決這些問題而設計的補充或替代方案。
架構層次
現代 AI 部署通常採用三層架構：
終端裝置層（Device Edge）：直接在感測器、攝影機、智慧型手機、工業控制器等終端裝置上執行輕量化 AI 推論（Inference）。代表技術包括 TensorFlow Lite、PyTorch Mobile、ONNX Runtime，以及各廠商的 NPU（神經網路處理器）晶片（如 Apple Neural Engine、Qualcomm Hexagon）。
邊緣節點層（Edge Node / Fog Computing）：在距離終端裝置數公里內的基地台、工廠伺服器或區域資料中心進行更複雜的計算。5G 的 MEC（Multi-access Edge Computing）標準將運算節點整合到行動網路基礎設施中。
雲端層（Cloud）：負責模型訓練、全域資料聚合與長期儲存，定期將更新的模型推送至邊緣節點。
AI 推論在邊緣的挑戰
在邊緣裝置上部署 AI 模型面臨多重限制：
- 算力限制：終端裝置的 CPU/GPU 性能遠低於伺服器等級硬體，需對模型進行壓縮（量化、剪枝、知識蒸餾）。
- 記憶體限制：DRAM 容量有限，不適合部署大型模型。
- 能耗限制：電池供電的裝置必須嚴格控制功耗。
- 散熱限制：在狹小空間中持續高負載運算可能造成過熱。
- 模型更新：如何安全、高效地在大量分散的邊緣裝置上進行模型 OTA（Over-the-Air）更新。
主要應用場景
- 製造業品質檢測：在生產線攝影機上即時判斷產品缺陷，毫秒級反應，無需上傳影像至雲端。
- 自動駕駛：車輛本身需即時處理感測器資料（LiDAR、攝影機），雲端延遲不可接受。
- 智慧城市：交通攝影機在本地分析流量、辨識車牌，減少頻寬消耗與隱私暴露風險。
- 醫療裝置：可攜式診斷設備在無穩定網路連線的環境中執行 AI 分析。
- 零售：門市端 POS 機即時進行顧客行為分析或商品辨識，不依賴雲端連線。
與雲端 AI 的比較
| 比較維度 | 邊緣運算 | 雲端運算 |
|---|---|---|
| 延遲 | 低（毫秒級） | 較高（數十毫秒至秒） |
| 頻寬需求 | 低 | 高 |
| 資料隱私 | 資料不離開本地 | 需傳輸至雲端 |
| 算力 | 有限 | 幾乎無限 |
| 可用性 | 不依賴網路連線 | 需要穩定連線 |
| 成本 | 硬體部署成本較高 | 按用量計費，靈活 |
模型最佳化技術
為使模型能在邊緣裝置運行，常見技術包括：量化（Quantization）將浮點數精度降至 INT8 或 INT4、剪枝（Pruning）移除不重要的神經元、知識蒸餾（Knowledge Distillation）訓練輕量化學生模型，以及架構搜尋（Neural Architecture Search）自動設計適合低算力環境的模型結構（如 MobileNet、EfficientNet 系列）。
5G 與 MEC 的影響
5G 網路的低延遲特性（理論端到端延遲 < 1ms）與 MEC（Multi-access Edge Computing）架構的結合，進一步擴展了邊緣 AI 的應用邊界。MEC 將運算能力部署在 5G 基地台或集中單元（CU）側，讓終端裝置能在毫秒內存取邊緣運算資源，適用於對延遲要求極高但裝置本身算力不足的場景（如 AR/VR 渲染、雲端遊戲、遠端機器人控制）。這種模式也稱為「雲端邊緣協作（Cloud-Edge Collaboration）」，比純粹的設備端推論（On-device Inference）有更強的算力支撐，同時保持比傳統雲端更低的延遲。未來隨著邊緣 AI 晶片性能持續提升與聯邦學習技術的成熟，邊緣設備有望在本地完成更複雜的學習任務，而不僅限於推論。