模型部署 相關 AI 術語

A/B測試是一種隨機實驗方法，用於比較兩個版本的變數（A 和 B），以確定哪個版本表現更好。常用於優化使用者體驗和提升轉換率。

AI治理是指建立一套框架和流程，以確保AI系統的開發和使用符合倫理、法律和社會價值觀。

AI沙盒是一個受控的環境，用於測試和評估AI系統，而無需擔心對真實世界產生負面影響。它提供了一個安全可靠的實驗平台。

AI浮水印是一種將資訊嵌入AI模型或其產生的內容中的技術，用於驗證來源、追蹤使用情況或防止未經授權的複製。

自動擴展根據系統負載自動調整計算資源，動態增加或減少伺服器數量，確保應用程式效能，同時優化成本。

自動駕駛技術利用感測器、人工智慧和控制系統，使車輛能夠在沒有人為干預的情況下感知環境並自主導航。

自主系統是指能在沒有外部干預下，感知環境、做出決策並執行動作的系統，具備一定程度的獨立性和適應性。

Bagging (Bootstrap Aggregating) 是一種集成學習技術，透過對原始資料集進行多次有放回的抽樣，訓練多個模型，並將它們的預測結果進行平均或投票。

批次推論是指將大量資料一次性輸入模型進行預測，適用於對延遲不敏感的場景，例如定期報表生成或離線資料分析。

低功耗機器學習是一種專注於減少模型推論時能源消耗的技術，旨在延長行動裝置與邊緣設備的電池續航力。

在單一時間點將新系統或模型同時發布給所有使用者，瞬間取代舊系統的部署策略。

Boosting 是一種集成學習技術，透過迭代訓練一系列弱學習器，每個學習器都試圖糾正前一個學習器的錯誤，最終將它們組合起來形成一個強學習器。

指從開始到完成AI模型或軟體專案建置過程所需的時間。

衡量AI模型或軟體專案建置過程中失敗次數佔總次數的比例。

金絲雀部署是將新版本軟體或模型逐步發布給少數使用者，以便在全面推廣前偵測問題，有效降低風險並確保系統穩定性。

撤銷已發行但因故不再信任的數位憑證，防止其被濫用，確保AI系統安全與信任鏈完整性。

在模型訓練過程中定期儲存模型狀態與權重的技術，可防止意外中斷導致進度遺失，並便於後續推論或微調。

概念漂移是指機器學習模型在部署後，由於資料分佈隨時間變化，導致模型預測準確度下降的現象。需要持續監控並重新訓練模型。

容器化技術是一種將應用程式及其所有依賴項打包到一個可移植容器中的技術，實現跨環境一致的部署。

CI 每次提交自動建置+測試，CD 通過後自動部署到生產環境。確保每個變更都安全

持續整合設計是規劃自動化流程，頻繁整合程式碼、建構與測試，旨在提升軟體開發效率與品質。

持續驗證是主動且持續地測試複雜系統的工程實踐，旨在確保模型與基礎設施在正式環境中始終符合預期的效能、穩定性與安全標準。

ControlNet 是一種神經網路結構，用於控制大型擴散模型，例如 Stable Diffusion，以實現更精確的圖像生成控制，例如基於草圖或邊緣圖生成圖像。

共變數偏移是指機器學習模型在訓練與推論階段，輸入特徵的資料分佈發生改變，但給定特徵下的目標變數條件分佈保持不變的現象。

資料漂移是指模型上線後，輸入資料的分布與訓練資料不同，進而造成模型預測效能降低的現象

資料管線是一系列資料處理步驟，將原始資料轉換為可供分析或模型使用的格式，包含擷取、轉換、載入等階段。

指感測器或裝置隨時間產生資料分佈變化的現象，影響模型效能。

模型訓練時的資料分布與部署後實際遇到的資料分布不同，導致模型效能下降的現象。

根據系統負載和數據可用性，動態調整批次大小和處理時機的推理最佳化技術，用於平衡吞吐量和延遲。

邊緣人工智慧是指在靠近資料來源的邊緣設備上執行AI運算，而非在雲端伺服器上。可降低延遲、節省頻寬、保護隱私。

邊緣運算AI是在終端裝置直接執行人工智慧模型的技術，具備低延遲、省頻寬與強化隱私保護等核心優勢。

邊緣裝置指位於網路邊緣、靠近資料生成源頭的硬體設備，能在本地端直接執行資料處理與 AI 模型推論任務。

邊緣推理是在邊緣設備（如手機、物聯網設備、智能硬體）本地執行機器學習模型推理，而不是發送請求到遠端伺服器。它具有低延遲、隱私保護、離線可用等優勢。

電子病歷人工智慧 (EHR AI) 指的是利用人工智慧技術分析電子病歷 (EHR) 數據，以改善醫療照護、研究和管理的應用。

一種在不改變程式碼的情況下，動態啟用或停用系統功能與機器學習模型的工程技術。

特徵儲存庫是一個集中管理和共享機器學習特徵的平台，確保特徵一致性、可重用性，並簡化特徵工程流程。

允許在不重新部署程式碼的情況下，動態開啟或關閉特定功能，便於A/B測試與風險管理。

圖形處理器（GPU）是一種專為並行處理設計的電子電路，最初用於加速圖像渲染，現廣泛應用於深度學習等需要大量計算的領域。

根據資源使用率自動增減 Kubernetes 叢集中 Pod 數量的機制，確保應用效能並最佳化資源配置。

透過增加更多節點或機器來擴展系統處理能力，以應對AI工作負載增長。

Hugging Face 提供開源機器學習模型與資料集託管，協助開發者協作、分享並快速部署各類人工智慧應用。

推論是指利用已訓練好的機器學習模型，對新的、未曾見過的資料進行預測或判斷的過程。是模型部署後的核心環節。

推論最佳化旨在提升已訓練模型的推論速度、降低資源消耗，使其更有效率地部署於實際應用中。

整合地獄是指在系統開發與機器學習專案中，將各自獨立開發的模組或模型進行合併時，因依賴衝突而引發的嚴重錯誤與發布延遲。

知識蒸餾是一種模型壓縮技術，透過讓小模型模仿大模型的輸出，使其在保有精準度的同時，大幅縮減模型體積

在大型語言模型推理中，預先計算並存儲前面 token 的鍵和值向量，避免重複計算的優化技術。

標籤分布漂移（Label Drift）指模型在生產環境中遭遇的目標變數（標籤）分布與訓練時不同的現象，例如詐欺偵測中詐欺案件占比從 1% 升至 5%，導致原本校準好的模型閾值和效能指標失效，需觸發再訓

潛在擴散模型(LDM)是一種生成式AI模型，透過在潛在空間中進行擴散和逆擴散過程，生成高解析度、高品質的圖像或其他資料。

AI負載平衡將AI任務分散到多個計算資源，確保資源有效利用，避免單點過載，提升整體系統效能和穩定性。

把 DevOps 的實踐應用到 ML 系統上，自動化模型的訓練、部署、監控全生命週期

版本控制系統中主要的開發線路，通常包含穩定且可發布的程式碼。

Mamba是一種基於選擇機制的序列模型，旨在解決Transformer在長序列建模上的效率瓶頸，透過硬體感知演算法提升運算速度。

衡量系統或組件從故障到完全修復所需的平均時間，是可靠性工程關鍵指標。

機器學習管線是自動化機器學習工作流程的步驟序列，包括資料準備、模型訓練、評估和部署。

MLOps 是一種將機器學習模型開發與部署流程標準化的方法，旨在加速模型迭代、提高可靠性並簡化維護。

MobileNet是一種針對移動和嵌入式設備設計的輕量級深度神經網路架構，旨在實現高效的資源利用和快速的推論速度。

模型即服務(MaaS)是一種雲端運算服務，提供預先訓練好的機器學習模型，讓使用者透過API存取並應用於各種任務，無需自行訓練模型。

模型快取是一種將已訓練的模型儲存在記憶體或快速儲存裝置中，以加速模型載入和推論的技術。

概述AI模型性能、限制、預期用途、評估指標與潛在風險的文件。

模型壓縮是指減少機器學習模型大小和計算複雜度的技術，以便在資源有限的設備上部署，同時保持模型性能。

邊緣端模型壓縮是縮減神經網路體積與運算量的技術，使人工智慧模型能在資源受限的邊緣裝置上順暢執行。

模型部署是指將訓練完成的機器學習模型整合到實際應用環境中，使其能夠接收輸入數據並產生預測結果，為業務決策提供支援。

模型監控是持續追蹤機器學習模型在生產環境中的效能和行為，以確保其準確性、可靠性和公平性。及時發現並解決問題。

模型平行化是一種將大型模型分割到多個裝置上進行訓練或推論的技術，以克服單一裝置的記憶體限制。

模型登錄庫是集中管理 AI 模型版本、追蹤訓練紀錄與部署狀態的系統，如同模型的戶籍系統

模型服務化是指將訓練好的機器學習模型部署到生產環境，使其能夠接收請求並返回預測結果的過程。

模型竊取是一種針對機器學習模型的網路安全攻擊手法。攻擊者透過大量且有系統地向目標模型的應用程式介面發送查詢，並記錄其回傳的預測結果，藉此訓練出一個功能與原始目標高度相似的替代模型。

模型版本控制是追蹤和管理機器學習模型不同迭代的過程，確保可重複性、可追溯性和協作。

安全多方計算（Multi-Party Computation，MPC）是一種密碼學協議，允許多方在不揭露各自私有輸入資料的前提下，共同計算某個函數的結果，廣泛應用於聯邦學習、隱私保護 AI 推論等場景

光學字元辨識（OCR）是一種技術，能將圖像中的文字轉換為機器可讀的文字格式，例如將掃描文件轉換為可編輯的文字。

裝置端學習是一種直接在智慧型手機等終端設備上進行模型訓練與推論的技術，能降低延遲並提升資料隱私安全性。

線上學習是一種機器學習方法，模型在接收到每個新資料點後立即更新，無需儲存所有資料或進行批次訓練，適用於資料流場景。

ONNX 是一種開放標準，用於表示機器學習模型，允許模型在不同框架之間互操作，簡化模型部署流程。

病理學AI利用人工智慧分析組織切片影像，輔助病理醫生診斷癌症、感染等疾病，提升診斷效率和客觀性。

持久化儲存卷是在容器化環境中獨立於容器生命週期的儲存資源，能確保系統或任務重啟時資料不會遺失。

階段性發布是一種將新版人工智慧模型或軟體功能逐步推送給使用者的部署策略。透過分階段增加流量比例，團隊能在全面上線前，於真實環境中監控效能並控制潛在風險。

模型剪枝是一種減少模型大小和計算複雜度的技術，透過移除模型中不重要的權重或神經元來實現。

模型量化是一種降低模型大小和加速推論的技術，透過減少模型權重和激活值的精度來實現。

等待處理的任務或請求數量，是衡量系統負載與響應能力的重要指標。

放射醫學AI利用人工智慧技術分析醫學影像，輔助醫生診斷疾病，提高診斷效率和準確性，並減少人為錯誤。

一種控制請求頻率的機制，防止系統過載或濫用，確保服務穩定性與資源公平分配。

Real指真實世界資料或物理環境，作為生成式AI判別真偽的基準，或強化學習訓練後最終部署落地的目標場景。

即時推論是指模型在接收到單個輸入後立即進行預測，適用於需要快速響應的應用，例如線上推薦或詐欺檢測。

紅隊演練是一種模擬攻擊的測試方法，通過模擬真實攻擊者的行為，評估AI系統的安全性，找出潛在的漏洞和弱點。

每秒請求數 (RPS) 衡量系統每秒處理請求量，是評估 AI 模型部署與 API 服務效能的關鍵指標。

負責任AI是一種全面性的框架，旨在確保人工智慧系統的開發、部署與使用過程，能嚴格遵守倫理原則、社會價值觀和法律規範，以促進公平、透明且可信賴的AI發展。

環狀注意力是一種分散式注意力機制，將注意力計算分散到多個設備上，減少單一設備的記憶體需求，適用於超大型模型。

機器人理財顧問是一種使用演算法和人工智慧來提供自動化投資建議和管理服務的平台，旨在降低投資門檻和成本。

機器人學是設計、建造、操作和應用機器人的科學和工程學科，涉及機械工程、電子工程、電腦科學等多個領域。

滾動更新是一種軟體部署策略，透過逐步替換舊版實例為新版實例，確保系統在升級期間保持零停機，維持服務的高可用性。

水平擴展是透過增加伺服器節點來分散系統負載的架構策略，常用於提升模型部署與分散式運算的處理能力。

綱要演進是指資料庫或資料倉儲的綱要隨著時間推移而發生的變更，以及管理這些變更的過程，以確保資料的相容性和可用性。

無伺服器機器學習是一種雲端運算模型，允許開發者在無需管理伺服器的情況下構建、訓練和部署機器學習模型，按實際使用量付費。

影子部署是一種零風險的部署方式，新版本與舊版本同時運行，使用者只看到舊版本的結果，新版本的預測結果被記錄但不返回，用於離線評估新版本的實際性能。

影子模式是指將新模型部署於生產環境，接收真實流量並進行預測，但預測結果不影響實際業務決策的評估策略。

推測解碼是一種加速大型語言模型推論速度的技術，透過小型模型預測多個token，再由大型模型驗證，減少計算量。

測試資料集用於評估模型在未見過資料上的泛化能力，是模型效能的最終指標，在模型部署前使用。

測試時運算是指在模型部署後，進行推論時所使用的運算資源。目標是在效能和延遲之間取得平衡，以滿足實際應用需求。

張量處理單元（TPU）是Google專為加速機器學習工作負載而設計的客製化硬體加速器，尤其擅長處理張量運算，是深度學習的利器。

Whisper 是 OpenAI 開發的語音辨識系統，能將語音轉換為文字，支援多種語言，並具備良好的抗噪能力和翻譯功能。

YOLO (You Only Look Once) 是一種即時物件偵測演算法，它將物件偵測視為一個迴歸問題，直接從完整圖像預測邊界框和類別機率。