Comet（CometML）是一款 MLOps（機器學習運維）平台，由 Comet ML 公司開發，提供機器學習實驗追蹤、模型管理、資料集版本控制與模型監控等功能。幫助資料科學家與機器學習工程師系統化管理 ML 工作流程，從實驗記錄到模型上線全程追蹤。近期也整合了 LLM 評估與提示詞管理功能。適合資料科學團隊、ML 工程師與需要管理機器學習生命週期的企業。
核心功能
- ML 實驗自動追蹤，記錄超參數、指標與模型版本
- 視覺化儀表板，比較不同實驗的效能與趨勢
- 模型版本管理與模型 Registry
- LLM 評估與提示詞管理工具（Opik）
- 與 PyTorch、TensorFlow、Hugging Face 等框架整合
優缺點比較
優點
- + 實驗追蹤功能完善，視覺化比較直覺好用
- + 整合 LLM 評估功能，跟上生成式 AI 趨勢
- + 支援主流 ML 框架，導入成本低
缺點
- - 免費版的儲存空間與專案數量有限制
- - 學習曲線較陡，需要 ML 基礎知識
- - 在 MLOps 賽道面臨 MLflow、Weights & Biases 的激烈競爭
使用場景
- 資料科學團隊追蹤與比較模型訓練實驗
- ML 模型的版本管理與部署流程自動化
- LLM 應用的提示詞效能追蹤與優化
- ML 模型上線後的效能監控與漂移偵測
常見問題
Comet 和 MLflow 有什麼差別？
MLflow 是開源工具，需要自行部署與維護；Comet 是託管 SaaS 平台，開箱即用。Comet 在視覺化、協作功能與 LLM 支援上較強，MLflow 在自託管靈活性與社群生態上有優勢。
Comet 有免費方案嗎？
有，Comet 提供免費的 Individual 方案，適合個人與小型專案使用。包含基本的實驗追蹤與視覺化功能，但儲存空間、協作人數與某些進階功能有限制。
Comet 的 Opik 是什麼？
Opik 是 Comet 推出的開源 LLM 評估與可觀測性工具，可追蹤 LLM 應用的輸入輸出、延遲、成本與品質指標。幫助開發者系統化地評估與改進 LLM 應用的表現。