開放神經網路交換 是什麼？
ONNX — 開放神經網路交換 的完整解釋
ONNX 是一種開放標準，用於表示機器學習模型，允許模型在不同框架之間互操作，簡化模型部署流程。
容易混淆
開放神經網路交換 vs 特定框架模型（如 TensorFlow 模型）
特定框架模型像只會說一種方言的人，只能在自家地盤交流；ONNX 像會說英文的人，走到哪都能溝通，讓模型部署更有彈性。
最關鍵的區別：一個是模型交換格式，一個是訓練框架本體。
開放神經網路交換 vs 原生框架模型
ONNX 是通用交換格式，原生框架模型通常只能在自己的生態裡跑得最順
最關鍵的區別：格式是不是能跨框架、跨 runtime。
記住這句就好
把模型包成通用格式，才好跨框架部署
實際案例
案例 1：PyTorch 訓練完，轉成 ONNX 再丟到邊緣裝置推論
這種情況下，開放神經網路交換 會幫你把原本手工或靠直覺的步驟變得更穩。
案例 2：同一個模型要在 CPU、GPU 和不同 runtime 間切換
另一個常見場景也能看出 開放神經網路交換 的價值，因為它處理的是同一種核心問題。
算法與應用
核心意思就是：把模型包成通用格式，才好跨框架部署。
重點是把計算圖和權重保存成通用表示，再交給不同 runtime 執行
部署時常會再配合量化、剪枝或硬體加速
情境判斷
Q1（直覺題）： PyTorch 訓練完，轉成 ONNX 再丟到邊緣裝置推論 這種情況，會先想到 開放神經網路交換 嗎？
→ 會，因為它正好在處理這件事的核心問題，只是還要看資料乾不乾淨、流程穩不穩。
Q2（判斷題）： 同一個模型要在 CPU、GPU 和邊緣裝置間切換，還合適嗎？
→ 看情況，ONNX 就常是這種跨平台部署的中介層
相關術語
常見問題
為什麼要使用 ONNX？它解決了什麼問題？
使用 ONNX 的主要目的是解決不同機器學習框架之間的互操作性問題。 在沒有 ONNX 的情況下，如果想將在 TensorFlow 中訓練的模型部署到 PyTorch 環境中，或者利用 TensorRT 等硬體加速器進行加速，需要進行繁瑣的模型轉換和優化。 ONNX 提供了一種通用的模型表示格式，使得模型可以在不同框架和硬體平台之間無縫遷移，簡化了模型部署流程，提高了開發效率。
ONNX Runtime 是什麼？它與 ONNX 有什麼關係？
ONNX Runtime 是一個跨平台的推論引擎，用於高效地執行 ONNX 模型。 ONNX 定義了模型的表示格式，而 ONNX Runtime 則負責解析和執行這些模型。 可以將 ONNX 視為模型的“藍圖”，而 ONNX Runtime 則是“施工隊”，負責根據藍圖建造模型。 ONNX Runtime 支持多種硬體平台，包括 CPU、GPU 和加速器，可以根據不同的硬體環境進行優化，提供高性能的推論服務。
如何將 TensorFlow 或 PyTorch 模型轉換為 ONNX 格式？
TensorFlow 和 PyTorch 都提供了 ONNX 導出器，可以將模型轉換為 ONNX 格式。 對於 TensorFlow，可以使用 `tf.saved_model.load` 加載模型，然後使用 `tf.compat.v1.graph_util.convert_variables_to_constants` 將變量轉換為常量，最後使用 `tf.graph_util.extract_sub_graph` 提取子圖，並使用 `tf.io.write_graph` 將圖寫入 ONNX 文件。 對於 PyTorch，可以使用 `torch.onnx.export` 函數將模型導出為 ONNX 格式。 需要注意的是，在導出 ONNX 模型時，需要指定模型的輸入形狀和數據類型。