MLOps 相關 AI 術語

A/B測試是一種隨機實驗方法，用於比較兩個版本的變數（A 和 B），以確定哪個版本表現更好。常用於優化使用者體驗和提升轉換率。

確保資料庫交易可靠執行的四個基本屬性：原子性、一致性、隔離性與持久性，是資料處理的重要基礎。

AI 系統架構描述 AI 應用的整體技術結構，包含資料層、模型層、服務層的設計，以及雲端、邊緣、混合部署等基礎設施配置

模擬真實情境以測試和評估AI系統的安全性、合規性與應變能力，識別潛在弱點。

自動擴展根據系統負載自動調整計算資源，動態增加或減少伺服器數量，確保應用程式效能，同時優化成本。

透過自動化方式完成機器學習管線中資料前處理、特徵工程、模型選擇與超參數調整等步驟的技術框架。

批次推論是指將大量資料一次性輸入模型進行預測，適用於對延遲不敏感的場景，例如定期報表生成或離線資料分析。

將大量資料或任務累積後一次性集中執行的計算模式，與即時處理相對。

在單一時間點將新系統或模型同時發布給所有使用者，瞬間取代舊系統的部署策略。

指從開始到完成AI模型或軟體專案建置過程所需的時間。

衡量AI模型或軟體專案建置過程中失敗次數佔總次數的比例。

金絲雀部署是將新版本軟體或模型逐步發布給少數使用者，以便在全面推廣前偵測問題，有效降低風險並確保系統穩定性。

撤銷已發行但因故不再信任的數位憑證，防止其被濫用，確保AI系統安全與信任鏈完整性。

在模型訓練過程中定期儲存模型狀態與權重的技術，可防止意外中斷導致進度遺失，並便於後續推論或微調。

運算最佳訓練旨在於給定運算資源下，最大化模型效能。它涉及調整模型大小、資料集大小和訓練步驟，以達到最佳效率。

概念漂移是指機器學習模型在部署後，由於資料分佈隨時間變化，導致模型預測準確度下降的現象。需要持續監控並重新訓練模型。

容器化技術是一種將應用程式及其所有依賴項打包到一個可移植容器中的技術，實現跨環境一致的部署。

自動化將通過測試的程式碼變更直接部署到生產環境的軟體工程實踐。

CI 每次提交自動建置+測試，CD 通過後自動部署到生產環境。確保每個變更都安全

持續整合設計是規劃自動化流程，頻繁整合程式碼、建構與測試，旨在提升軟體開發效率與品質。

自動化系統持續收集新資料、重新訓練機器學習模型並部署新版本，使模型效能適應環境變化。

持續驗證是主動且持續地測試複雜系統的工程實踐，旨在確保模型與基礎設施在正式環境中始終符合預期的效能、穩定性與安全標準。

描述資料集來源、組成、預期用途、限制與潛在偏誤的文件。

資料血緣追蹤記錄資料從來源到目的地的流動和轉換，提供資料的完整歷史和上下文，確保資料品質和可追溯性。

資料並行是一種分散式訓練方法，將資料分割成多份，分配給多個節點，每個節點使用相同模型副本訓練不同資料子集。

資料管線是一系列資料處理步驟，將原始資料轉換為可供分析或模型使用的格式，包含擷取、轉換、載入等階段。

資料品質監控是指持續追蹤和評估資料的準確性、完整性、一致性、時效性和有效性，以確保資料符合預期標準。

將大規模資料集水平切割為多個獨立區塊，以提升平行處理效率與降低記憶體負荷。

資料驗證是確保機器學習模型訓練與推論資料之準確性、完整性與格式正確性的自動化檢查過程，能有效防止異常數據污染系統。

資料版本控制是一種管理機器學習專案中資料集與模型異動的技術，確保實驗的可重複性與團隊協作效率。

資料版本控制追蹤資料集在不同時間點的狀態，確保可重複性、可追溯性，並允許回復到先前的資料版本。

透過收集設備或用戶的多種可識別資訊，建立獨特且穩定的識別碼。

分散式訓練利用多個計算節點，將模型訓練任務分割並行處理，加速大型模型訓練，提升效率。

模型訓練時的資料分布與部署後實際遇到的資料分布不同，導致模型效能下降的現象。

根據系統負載和數據可用性，動態調整批次大小和處理時機的推理最佳化技術，用於平衡吞吐量和延遲。

邊緣人工智慧是指在靠近資料來源的邊緣設備上執行AI運算，而非在雲端伺服器上。可降低延遲、節省頻寬、保護隱私。

邊緣裝置指位於網路邊緣、靠近資料生成源頭的硬體設備，能在本地端直接執行資料處理與 AI 模型推論任務。

資料工程核心流程，將原始資料從來源系統擷取（Extract）、清洗轉換（Transform）後，載入（Load）至目標資料倉儲或 AI 訓練管線的三段式架構。

機器學習中，輸入資料的特徵分佈隨時間變化的現象，可能導致模型性能下降。

一種在不改變程式碼的情況下，動態啟用或停用系統功能與機器學習模型的工程技術。

允許在不重新部署程式碼的情況下，動態開啟或關閉特定功能，便於A/B測試與風險管理。

驗證AI模型或系統在特定輸入下行為是否符合預期功能的過程。

根據資源使用率自動增減 Kubernetes 叢集中 Pod 數量的機制，確保應用效能並最佳化資源配置。

透過增加更多節點或機器來擴展系統處理能力，以應對AI工作負載增長。

推論最佳化旨在提升已訓練模型的推論速度、降低資源消耗，使其更有效率地部署於實際應用中。

整合地獄是指在系統開發與機器學習專案中，將各自獨立開發的模組或模型進行合併時，因依賴衝突而引發的嚴重錯誤與發布延遲。

定期更換加密金鑰的資安實踐，以降低金鑰洩露風險並限制潛在損害。

在大型語言模型推理中，預先計算並存儲前面 token 的鍵和值向量，避免重複計算的優化技術。

標籤分布漂移（Label Drift）指模型在生產環境中遭遇的目標變數（標籤）分布與訓練時不同的現象，例如詐欺偵測中詐欺案件占比從 1% 升至 5%，導致原本校準好的模型閾值和效能指標失效，需觸發再訓

局部可解釋模型無關解釋（Local Interpretable Model-Agnostic Explanations, LIME）是一種模型可解釋性技術，透過在單一預測結果附近擾動輸入資料並訓練簡單

將運算請求分散至多台伺服器或 AI 推論節點的技術，以提升系統吞吐量、降低延遲並避免單點過載。

AI負載平衡將AI任務分散到多個計算資源，確保資源有效利用，避免單點過載，提升整體系統效能和穩定性。

把 DevOps 的實踐應用到 ML 系統上，自動化模型的訓練、部署、監控全生命週期

版本控制系統中主要的開發線路，通常包含穩定且可發布的程式碼。

衡量系統或組件從故障到完全修復所需的平均時間，是可靠性工程關鍵指標。

機器學習管線是自動化機器學習工作流程的步驟序列，包括資料準備、模型訓練、評估和部署。

MLOps 是一種將機器學習模型開發與部署流程標準化的方法，旨在加速模型迭代、提高可靠性並簡化維護。

模型快取是一種將已訓練的模型儲存在記憶體或快速儲存裝置中，以加速模型載入和推論的技術。

概述AI模型性能、限制、預期用途、評估指標與潛在風險的文件。

模型壓縮是指減少機器學習模型大小和計算複雜度的技術，以便在資源有限的設備上部署，同時保持模型性能。

模型評估是衡量機器學習模型在未知資料上表現的過程，透過特定指標來確保模型的泛化能力與實用性。

模型監控是持續追蹤機器學習模型在生產環境中的效能和行為，以確保其準確性、可靠性和公平性。及時發現並解決問題。

模型平行化是一種將大型模型分割到多個裝置上進行訓練或推論的技術，以克服單一裝置的記憶體限制。

模型登錄庫是集中管理 AI 模型版本、追蹤訓練紀錄與部署狀態的系統，如同模型的戶籍系統

模型服務化是指將訓練好的機器學習模型部署到生產環境，使其能夠接收請求並返回預測結果的過程。

模型版本控制是追蹤和管理機器學習模型不同迭代的過程，確保可重複性、可追溯性和協作。

ONNX 是一種開放標準，用於表示機器學習模型，允許模型在不同框架之間互操作，簡化模型部署流程。

流程協調是指自動化安排、協調和管理複雜的計算機系統、應用程式和服務的過程，以實現特定目標。

持久化儲存卷是在容器化環境中獨立於容器生命週期的儲存資源，能確保系統或任務重啟時資料不會遺失。

階段性發布是一種將新版人工智慧模型或軟體功能逐步推送給使用者的部署策略。透過分階段增加流量比例，團隊能在全面上線前，於真實環境中監控效能並控制潛在風險。

模型剪枝是一種減少模型大小和計算複雜度的技術，透過移除模型中不重要的權重或神經元來實現。

族群穩定性指數（Population Stability Index, PSI）用於量化資料分布隨時間的變化幅度，是監控機器學習模型輸入特徵或輸出預測是否發生偏移（drift）的核心指標，PSI 越大

模型量化是一種降低模型大小和加速推論的技術，透過減少模型權重和激活值的精度來實現。

等待處理的任務或請求數量，是衡量系統負載與響應能力的重要指標。

一種控制請求頻率的機制，防止系統過載或濫用，確保服務穩定性與資源公平分配。

即時推論是指模型在接收到單個輸入後立即進行預測，適用於需要快速響應的應用，例如線上推薦或詐欺檢測。

每秒請求數 (RPS) 衡量系統每秒處理請求量，是評估 AI 模型部署與 API 服務效能的關鍵指標。

RPA（機器人流程自動化）用軟體機器人模擬人類操作電腦，自動執行重複性業務流程，廣泛應用於金融對帳、訂單處理、HR 入職等高量重複性作業。

滾動更新是一種軟體部署策略，透過逐步替換舊版實例為新版實例，確保系統在升級期間保持零停機，維持服務的高可用性。

水平擴展是透過增加伺服器節點來分散系統負載的架構策略，常用於提升模型部署與分散式運算的處理能力。

綱要演進是指資料庫或資料倉儲的綱要隨著時間推移而發生的變更，以及管理這些變更的過程，以確保資料的相容性和可用性。

無伺服器機器學習是一種雲端運算模型，允許開發者在無需管理伺服器的情況下構建、訓練和部署機器學習模型，按實際使用量付費。

影子部署是一種零風險的部署方式，新版本與舊版本同時運行，使用者只看到舊版本的結果，新版本的預測結果被記錄但不返回，用於離線評估新版本的實際性能。

影子模式是指將新模型部署於生產環境，接收真實流量並進行預測，但預測結果不影響實際業務決策的評估策略。

競價型訓練利用閒置的雲端運算資源，以大幅降低模型訓練成本，但可能因資源回收而中斷。

測試時運算是指在模型部署後，進行推論時所使用的運算資源。目標是在效能和延遲之間取得平衡，以滿足實際應用需求。

工作流程自動化是指利用技術自動執行重複性、基於規則的任務和流程，以提高效率、減少錯誤並釋放人力資源。