機器學習管線 是什麼？

ML Pipeline：機器學習管線 的完整解釋

機器學習管線是自動化機器學習工作流程的步驟序列，包括資料準備、模型訓練、評估和部署。

容易混淆

機器學習管線 vs 資料管線

機器學習管線：不只搬資料，還包含訓練和評估。 資料管線：主要處理資料搬運、清洗和轉換。 最關鍵的區別：前者範圍更大，會一路走到模型。

機器學習管線 vs MLOps

機器學習管線：偏向流程本身。 MLOps：偏向把流程做成可維運、可監控、可重現的制度。 最關鍵的區別：前者是流程，後者是管理這條流程的方法。

記住這句就好

把資料到部署的每一步串起來，別靠手工。

實際案例

垃圾郵件模型上線

從抓信件、清洗文字、抽特徵、訓練模型到部署 API，全都接成管線後，每次更新才不會漏步驟。

推薦系統重訓

每天固定抓新行為資料、更新特徵、訓練新模型，再做驗證和發布，整條流程都能自動化。

算法與應用

管線常被拆成資料擷取、前處理、特徵工程、訓練、評估和部署。 好管線的重點是可重現、可監控、可回滾。 一旦資料分布變了，管線也要能接住重新訓練或重新驗證。

中英對照與常見說法

一條管線有哪些階段

訓練與推論偏斜，這是最貴的錯誤

訓練與推論偏斜（training-serving skew） 指的是訓練時算特徵的邏輯，跟線上推論時算特徵的邏輯不一致。離線用 Python 的 pandas 算平均值，線上用 Java 重寫一次，兩邊對缺值的處理差一點，模型表現就會莫名其妙比離線評估差一截。

這類問題極難除錯，因為兩邊各自的單元測試都會通過。標準對策是特徵儲存庫（feature store）：特徵的計算邏輯只寫一次，訓練與推論都從同一個地方取用。

另一個同源的問題是資料洩漏（data leakage）：特徵裡混進了預測當下拿不到的資訊。最常見的形式是用整個資料集算標準化的平均值與標準差，再切訓練與測試，這樣測試集的統計量已經洩漏進訓練流程。正確做法是先切，再只用訓練集的統計量去轉換兩邊。

為什麼要把它做成管線而不是一堆腳本

可重現：同樣的輸入跑出同樣的輸出，出事才查得出來是哪一版的資料或程式碼造成。

可排程與可回填：資料晚到、某天的任務失敗，能只重跑那一段而不是整個重來。

可監控：每個階段都有明確的輸入輸出，才能在正確的位置設檢查點。

一個實用的判準是：如果模型重訓一次需要有人手動照順序執行五個以上的步驟，就該把它變成管線了。

情境判斷

Q1（情境題）： 如果模型每次重訓都要人工搬資料，這代表什麼？

→ 流程還沒管線化。這樣很容易出錯，也很難追蹤每次模型差在哪。

Q2（情境題）： 如果訓練速度很快，但上線很慢，管線還算完整嗎？

→ 看情況。只把訓練做快不夠，資料處理和部署若沒接好，整體流程還是不完整。

常見問題

機器學習管線一定要用工具嗎？

不一定，但用了編排工具後，重現性和維運通常會好很多。

它和單次訓練腳本差在哪？

管線把多步驟串成可重跑流程，單次腳本通常只是一次性操作。

為什麼資料版本控制常跟管線一起出現？

因為管線每次吃到哪版資料，會直接影響模型結果。