L213 AI 技術應用與系統部署
完成後你能:說出 MLOps 從資料、訓練、部署到監控的流程,分辨資料漂移與概念漂移,知道 Model Registry、Kubernetes 與自動擴展各做什麼,也避開交叉驗證的資料洩漏。
這個單元約 20 分鐘:讀重點,練 2 題,再用 3 題沒做過的題目驗證。
- 讀重點
下方的白話重點與例子 - 練 2 題
- 驗證 3 題
步驟 1・讀重點
先看懂這些
L21301 數據準備與模型選擇
- 連續特徵做標準化,類別特徵依情況用 One-Hot、標籤編碼或目標編碼,再視需要做交互特徵
- 多重共線性(特徵彼此高度相關):用 PCA 轉成互相獨立的主成分,或用 LASSO(L1 正則化)把貢獻小的係數壓到 0
- 資料增強後的資料要和原始資料保持一樣的語意與分佈,否則泛化反而變差
- 超參數用交叉驗證挑選,挑參數和最後評估要用不同的資料,同一組 K-Fold 又挑參數又報分數,會資料洩漏、分數過度樂觀
L21302 AI 技術系統集成與部署
| 元件 | 做什麼 |
|---|---|
| Feature Store(特徵庫) | 特徵集中管理、重複使用 |
| Model Registry | 集中管理模型版本、訓練紀錄與部署狀態 |
| CI(持續整合) | 每次提交程式碼,自動建置、跑單元測試與靜態分析 |
| 容器化與 Kubernetes | 管理模型服務的部署、擴展與執行環境 |
| 自動擴展(Auto Scaling) | 依流量自動增減服務實例(水平擴展) |
上線後的監控與更新
- 資料漂移(Data Drift):輸入資料的分佈和訓練時不同,可以用 PSI、KL 散度量測
- 概念漂移(Concept Drift):輸入和答案之間的關係變了
- 準確率慢慢下降、系統卻沒有報錯:建立資料漂移與概念漂移的即時監測
- 上線策略:A/B 測試、金絲雀部署,先讓小部分流量用新模型
- 部署架構:公有雲、私有雲或混合雲,要求低延遲或資料不能離開現場時考慮邊緣 AI
考試陷阱
- MLOps 和 DevOps 的差別:MLOps 多了特徵庫管理與模型漂移監控
- PSI 與 KL 散度量的是分佈差多少,不是直接量準確率
- 在同一組交叉驗證資料上又調參又評估,分數會過度樂觀,這是資料洩漏