最佳化 相關 AI 術語

A/B測試是一種隨機實驗方法，用於比較兩個版本的變數（A 和 B），以確定哪個版本表現更好。常用於優化使用者體驗和提升轉換率。

在反向傳播時重新計算隱藏層激活值而非存儲，交換計算時間換取記憶體空間，使訓練更大模型成為可能。

一種機器學習策略，由演算法主動選擇最具訊息價值的未標籤樣本進行標籤，以最小化標籤成本並最大化模型性能

演員-評論家是一種強化學習演算法，結合了策略梯度（演員）和時序差分學習（評論家）的優點，以實現更穩定的學習。

根據過去梯度的平方和自動調整各參數學習率的最佳化演算法，使高頻參數學習率較小，低頻參數學習率較大。

演算法是一組定義明確的指令，用於解決特定問題或執行特定任務。它接收輸入，經過一系列步驟處理，並產生輸出。

演算法交易是指利用電腦程式自動執行交易指令，根據預先設定的規則和模型，在金融市場上進行買賣操作。

通用人工智慧（AGI）是指具備與人類同等或超越人類的智慧，能夠理解、學習、適應並在任何智力任務中表現出色的AI系統。

自動擴展根據系統負載自動調整計算資源，動態增加或減少伺服器數量，確保應用程式效能，同時優化成本。

Bagging (Bootstrap Aggregating) 是一種集成學習技術，透過對原始資料集進行多次有放回的抽樣，訓練多個模型，並將它們的預測結果進行平均或投票。

批次正規化是一種標準化技巧，針對每層網路的輸入進行調整，使訓練過程更穩定，並允許使用較大的學習率

批次大小是訓練時每次更新模型參數所使用的樣本數，直接影響訓練速度、記憶體用量與模型收斂穩定性

低功耗機器學習是一種專注於減少模型推論時能源消耗的技術，旨在延長行動裝置與邊緣設備的電池續航力。

貝氏最佳化是一種用於最佳化黑盒函數的演算法，它使用貝氏模型來建立目標函數的代理模型，並利用該模型來選擇下一個要評估的點，以在最少的迭代次數內找到最佳解。

集束搜尋是一種啟發式搜尋演算法，用於序列預測任務，它在每個時間步保留多個最有可能的候選序列（集束），而非僅僅選擇最佳選項。

偏差方差權衡是指在模型訓練中，降低偏差會增加方差，反之亦然。目標是找到一個平衡點，使模型在未見過的數據上表現良好。

Boosting 是一種集成學習技術，透過迭代訓練一系列弱學習器，每個學習器都試圖糾正前一個學習器的錯誤，最終將它們組合起來形成一個強學習器。

金吉拉縮放是一種模型縮放法則，旨在透過調整模型大小和訓練資料量，以達到最佳的計算效率，避免過度訓練或訓練不足。

利用強化學習演算法來解決複雜組合最佳化問題的技術，透過與環境互動學習最佳決策策略以尋求近似最佳解。

運算最佳訓練旨在於給定運算資源下，最大化模型效能。它涉及調整模型大小、資料集大小和訓練步驟，以達到最佳效率。

衡量數學問題或演算法對輸入微小變化的敏感程度。

持續學習旨在使AI模型能夠在不遺忘先前知識的情況下，逐步學習新的任務和資料，模擬人類終身學習的能力。

持續整合設計是規劃自動化流程，頻繁整合程式碼、建構與測試，旨在提升軟體開發效率與品質。

凸優化是一種數學優化方法，旨在尋找凸函數在凸集合上的最小值。其優點是局部最小值即為全局最小值，易於求解。

學習率沿著餘弦函數曲線逐漸衰減，從初始值平滑降低到最小值，使模型在訓練後期細微調整參數。

代價函數是所有訓練樣本損失函數的平均值，用於評估模型在整個訓練集上的表現，並作為優化算法的目標。

交叉熵損失是一種衡量兩個機率分佈之間差異的損失函數，常用於分類任務中評估模型預測結果與真實標籤的差距。

晶體結構預測是指透過計算機演算法，從給定的化學組成預測材料在特定條件下的穩定三維晶體結構。

資料並行是一種分散式訓練方法，將資料分割成多份，分配給多個節點，每個節點使用相同模型副本訓練不同資料子集。

深度Q網路（DQN）是一種結合深度學習與Q學習的強化學習演算法，利用深度神經網路逼近Q函數，解決高維度狀態空間的強化學習問題。

深度強化學習結合深度學習與強化學習，透過深度神經網路學習複雜策略，以在特定環境中最大化累積獎勵。

Dice Loss是一種用於衡量兩個樣本之間相似度的損失函數，尤其適用於處理不平衡的資料集，常見於圖像分割任務。

直接偏好優化（DPO）是一種直接利用人類偏好資料，優化語言模型，無需訓練獎勵模型的強化學習替代方案。

分散式訓練利用多個計算節點，將模型訓練任務分割並行處理，加速大型模型訓練，提升效率。

隨機丟棄是一種訓練技巧，透過隨機關閉部分神經元，避免網路過度依賴單一路徑，提升模型的泛化能力

AI藥物發現利用人工智慧加速藥物研發流程，從靶點識別、候選藥物篩選、臨床試驗設計到藥物重定位，降低成本並縮短開發週期。

提前終止是一種機器學習訓練技巧，藉由監控驗證損失，在模型過度擬合前及早停止訓練，以提高泛化能力。

邊緣運算AI是在終端裝置直接執行人工智慧模型的技術，具備低延遲、省頻寬與強化隱私保護等核心優勢。

邊緣推理是在邊緣設備（如手機、物聯網設備、智能硬體）本地執行機器學習模型推理，而不是發送請求到遠端伺服器。它具有低延遲、隱私保護、離線可用等優勢。

高效神經架構搜尋（Efficient NAS）旨在降低NAS的計算成本，通過架構共享、代理模型等技術加速搜尋過程，找到高性能的神經網路架構。

EfficientNet 是一系列由 Google 開發的卷積神經網路架構，旨在透過複合縮放方法，在準確度和效率之間取得最佳平衡。

集成學習透過結合多個弱學習器，建立一個強學習器，以提高模型的準確性和泛化能力，常見方法包括Bagging、Boosting和Stacking。

在貝氏推論中，證據指觀測資料的邊際機率。因計算困難，實務上常透過最大化證據下界來最佳化生成模型。

期望最大化 (EM) 算法是一種迭代算法，用於在存在隱變量的情況下，估計機率模型的參數。它交替執行期望 (E) 步驟和最大化 (M) 步驟。

梯度爆炸是指在深度學習模型訓練中，梯度在反向傳播時變得異常巨大，導致權重更新過大，模型訓練不穩定甚至崩潰。

探索與利用是強化學習中的權衡，探索是指嘗試新動作以發現潛在的更好策略，利用是指使用已知最佳策略以獲得最大獎勵。

GBDT 的進化版，加入正則化防過擬合，支援缺失值和並行化，是比賽和業界的常勝軍

公平性約束是在機器學習模型訓練或部署過程中引入的數學條件，旨在防止系統對特定群體產生偏見，確保演算法決策的公正性。

特徵選擇是機器學習中選擇最相關特徵子集的過程，旨在簡化模型、提高準確性、減少過擬合和提升模型的可解釋性。

允許在不重新部署程式碼的情況下，動態開啟或關閉特定功能，便於A/B測試與風險管理。

聯邦平均算法透過對多個節點的本地模型參數進行加權平均，在不收集原始資料的情況下訓練全局模型。

回饋迴路是指系統輸出影響其輸入的過程，在AI中用於迭代改進模型效能，透過評估結果並調整參數。

閃電注意力機制是一種優化注意力計算的技術，透過重新排序計算步驟和利用硬體加速，大幅提升注意力計算的速度和記憶體效率。

焦點損失函數 (Focal Loss) 是一種用於解決物件偵測中類別不平衡問題的損失函數，它通過降低易分類樣本的權重，使模型更關注難分類樣本。

基因演算法是一種模擬生物進化過程的優化算法，通過選擇、交叉和突變等操作，逐步演化出更優的解，用於解決複雜的搜索和優化問題。

多個訓練步驟內累加梯度，最後進行一次參數更新，有效增加批量大小而不增加記憶體占用，用於訓練記憶體受限的大型模型。

梯度提升法是一種機器學習技術，透過迭代地組合弱學習器（通常是決策樹）來建立強大的預測模型，每次迭代都專注於修正前一個模型的錯誤。

梯度裁剪是一種防止梯度爆炸問題的技術，通過限制梯度的大小，確保訓練過程的穩定性，避免模型參數更新過大。

梯度下降是一種透過反覆運算，沿損失函數的梯度方向，逐步逼近損失函數最小值的演算法

在分散式機器學習中，匯總多個運算節點的梯度以確保模型參數一致更新的過程。

抓取規劃是機器人學中的核心技術，旨在為機器人手臂規劃出有效且穩定的抓取動作，以成功拾取、移動或操作物體，確保任務執行效率與安全性。

網格搜尋是一種超參數調校方法，它窮舉超參數空間中所有可能的組合，並評估每個組合的模型效能。

頓悟學習指模型在訓練初期泛化能力差，但經過長時間訓練後，突然展現出良好的泛化能力，如同頓悟一般。

階層式強化學習將複雜任務分解為多層次的子任務，透過高低層策略協同運作，解決稀疏獎勵與長期規劃問題。

超參數是機器學習模型訓練前，由人為設定且影響模型學習效果的參數，例如學習率或網路層數

超參數調校是機器學習中，尋找最佳超參數組合以提升模型效能的過程，涉及多次模型訓練與評估。

推論最佳化旨在提升已訓練模型的推論速度、降低資源消耗，使其更有效率地部署於實際應用中。

透過對比正負樣本，最大化互資訊下界的損失函數，主要用於自監督表徵學習。

探索不足是指代理人過早專注於已知的高回報行為，未充分嘗試其他未知行為，導致陷入局部最佳解的現象。

逆向設計是一種從目標性能出發，利用機器學習或最佳化演算法推導出滿足該性能之材料結構或系統參數的方法。

逆向運動學是計算機器人或骨骼動畫等系統中，為了達到特定末端效應器位置和姿態，各關節需要旋轉的角度。

L1 正則化透過懲罰權重的絕對值總和，驅使模型將不重要特徵的權重歸零，達到特徵選擇的效果

L2 正則化是一種機器學習技術，透過在損失函數中加入權重平方和的懲罰項，促使模型權重縮小，有效降低模型複雜度並避免過度擬合，提升泛化能力。

拉格朗日乘數是一種尋找約束條件下函數極值的方法。它引入拉格朗日函數，將約束條件納入目標函數，從而將約束優化問題轉化為無約束優化問題。

層歸一化是一種神經網路正規化技術，它在每個層級對所有神經元的激活值進行歸一化，以加速訓練並提高泛化能力。

學習率是機器學習模型訓練中的關鍵超參數，它決定了梯度下降演算法每次更新模型參數的步長與幅度，過大可能導致模型震盪，過小則會使收斂速度緩慢。

根據訓練進度動態調整學習率的策略，能幫助模型在初期快速收斂，並在後期穩定尋找全域理想解。

學習率排程是一種在訓練過程中調整學習率的技術，旨在加速收斂、避免震盪，並提高模型的泛化能力。常見方法包括步階衰減、指數衰減和餘弦退火。

訓練初期逐漸增加學習率，避免初始化不佳導致的訓練不穩定，通常在前幾個 epoch 內從 0 線性增加到目標值。

AI負載平衡將AI任務分散到多個計算資源，確保資源有效利用，避免單點過載，提升整體系統效能和穩定性。

對數損失（Log Loss）是交叉熵損失在二元分類問題中的特殊形式，衡量模型預測機率與真實標籤之間的差異，數值越小代表模型表現越好。

邏輯式人工智慧利用形式邏輯表示知識並進行推論，旨在模擬人類的符號推理過程，解決複雜問題，強調可解釋性。

損失函數衡量模型預測與實際值之間的差異，數值越小代表模型預測越準確，是模型訓練中優化目標的關鍵組成部分。

馬可夫決策過程（MDP）是一種用於建模決策的數學框架，其中結果部分隨機，部分受決策者控制。它廣泛應用於強化學習。

矩陣分解推薦是一種推薦系統技術，它將用戶-項目互動矩陣分解為兩個低維矩陣，分別代表用戶和項目的隱含特徵，用於預測用戶對未互動項目的偏好。

最大似然估計 (MLE) 是一種統計方法，用於估計機率分佈的參數，它通過最大化觀察到樣本數據的似然函數來實現。

一種衡量兩個機率分佈之間差異的統計距離，常用於生成模型評估與領域適應。

元學習，又稱學習如何學習，旨在訓練模型能夠快速適應新任務或環境，透過少量樣本即可達到良好的效能。

混合精度訓練是一種使用不同精度（如 FP16 和 FP32）的浮點數進行模型訓練的技術，旨在加速訓練過程並減少記憶體佔用。

混合正則化是一種透過組合兩個或多個訓練樣本及其標籤來生成新訓練數據的技術，藉此擴增資料集多樣性，有效減輕神經網路模型的過擬合現象並提升泛化能力。

專家混合模型是一種機器學習技術，透過結合多個獨立的「專家」模型，針對不同輸入選擇性地激活特定專家，以提升模型整體效能。

模型快取是一種將已訓練的模型儲存在記憶體或快速儲存裝置中，以加速模型載入和推論的技術。

模型壓縮是指減少機器學習模型大小和計算複雜度的技術，以便在資源有限的設備上部署，同時保持模型性能。

邊緣端模型壓縮是縮減神經網路體積與運算量的技術，使人工智慧模型能在資源受限的邊緣裝置上順暢執行。

模型平行化是一種將大型模型分割到多個裝置上進行訓練或推論的技術，以克服單一裝置的記憶體限制。

學習環境模型（動態和獎賞），用模型進行規劃而非直接與環境互動的強化學習方法。

蒙地卡羅方法是一種利用隨機抽樣來估算數學問題解的計算技術。它通過大量模擬隨機事件，統計結果，從而得到近似解。

運動規劃是計算機科學和機器人學中的一個領域，旨在為機器人或其他代理找到從起點到終點的可行路徑，同時避開障礙物並滿足特定約束。

自駕車運動規劃是為自動駕駛車輛計算安全、可行且最佳行駛路徑的技術，確保車輛能避開障礙物並達成駕駛目標。

多代理系統是由多個獨立自主的代理（Agent）組成的計算機系統，這些代理透過相互溝通、協調與合作，共同解決複雜問題或達成特定目標。

多任務學習是一種機器學習方法，旨在同時訓練一個模型來執行多個相關任務，以提升模型的泛化能力和效率。

NAS 是一種自動化設計神經網路架構的技術，旨在減少人工設計的試錯成本，讓演算法自行尋找效能最佳的模型結構。

一種最佳化技術，用於在訓練模型時高效選擇負例，尤其在推薦系統和NLP中。

神經架構搜尋(NAS)是一種自動化設計神經網路架構的技術，旨在尋找在特定任務上表現最佳的模型結構，無需人工手動設計。

目標函數是機器學習模型訓練中用於評估模型表現的函數，其數值代表模型預測與實際值的差距，優化目標是最小化或最大化此函數。

從預先收集的固定資料集學習策略，不與環境互動，適合昂貴或危險環境。

線上學習是一種機器學習方法，模型在接收到每個新資料點後立即更新，無需儲存所有資料或進行批次訓練，適用於資料流場景。

指機器學習訓練過程中，最佳化演算法為更新模型權重所儲存的動量、變異數等歷史計算數值。

模型參數是機器學習模型在訓練過程中學習到的數值，用於決定模型如何對輸入資料進行轉換和預測。它們是模型的內部變數。

結合物理定律與神經網路的機器學習模型，用於求解偏微分方程，無需大量標籤數據。

在人工智慧中，規劃是指為達成特定目標，自動生成一系列行動步驟的過程。它涉及預測行動的結果，並選擇最佳的行動序列。

策略梯度是一種直接優化策略的強化學習方法，它通過計算策略梯度來更新策略參數，以最大化預期累積獎勵。

投資組合最佳化利用數學模型，在給定的風險承受度下，尋求最大化投資回報或在給定的回報目標下，最小化投資風險。

模型剪枝是一種減少模型大小和計算複雜度的技術，透過移除模型中不重要的權重或神經元來實現。

一種無模型的強化學習演算法，透過估計狀態-行為對的價值函數來找到最優策略。

QLoRA是LoRA的改進版，使用4位量化技術壓縮預訓練模型，進一步降低記憶體需求，實現在消費級硬體上微調大型模型。

模型量化是一種降低模型大小和加速推論的技術，透過減少模型權重和激活值的精度來實現。

結合量子計算與機器學習的跨領域技術，利用量子力學原理加速數據處理與模式識別過程。

等待處理的任務或請求數量，是衡量系統負載與響應能力的重要指標。

隨機搜尋是一種超參數最佳化方法，它在預定義的超參數空間中隨機選擇參數組合，並評估其性能，以找到最佳的超參數配置。

一種控制請求頻率的機制，防止系統過載或濫用，確保服務穩定性與資源公平分配。

推薦系統是一種利用演算法預測使用者對物品偏好的資訊過濾系統，旨在幫助使用者發現感興趣的內容，並提升平台互動與銷售。

正則化是一種在機器學習中用於防止模型過度擬合的關鍵技術，它透過在損失函數中引入懲罰項，有效限制模型參數的複雜度，從而提升模型的泛化能力。

每秒請求數 (RPS) 衡量系統每秒處理請求量，是評估 AI 模型部署與 API 服務效能的關鍵指標。

獎勵函數是強化學習中定義代理在特定狀態下採取特定動作後獲得的獎勵的函數，用於引導代理學習期望行為。

修改強化學習的獎賞函數以加快收斂和改進學習效率的技術。

環狀注意力是一種分散式注意力機制，將注意力計算分散到多個設備上，減少單一設備的記憶體需求，適用於超大型模型。

使用梯度平方的指數加權移動平均調整學習率的最佳化演算法，改進了 AdaGrad 學習率單調遞減的問題。

機器人理財顧問是一種使用演算法和人工智慧來提供自動化投資建議和管理服務的平台，旨在降低投資門檻和成本。

函數曲面上在某方向為局部最大值，在另一方向為局部最小值之點，形似馬鞍。在最佳化中，理解收斂行為的關鍵概念。

自我對弈是一種強化學習技術，其中智能體與自身的副本進行對弈，從而學習和改進策略，無需外部人類或標記數據。

序列比對是計算生物學技術，用於找出生物序列間的相似區域，揭示演化關係或功能同源性。

影子部署是一種零風險的部署方式，新版本與舊版本同時運行，使用者只看到舊版本的結果，新版本的預測結果被記錄但不返回，用於離線評估新版本的實際性能。

稀疏注意力機制是一種減少注意力機制計算複雜度的技術，透過只關注輸入序列中的部分元素，降低運算量，提升模型效率。

稀疏性約束是一種在機器學習中，強制模型參數或內部表示包含更多零值的正則化技術，以降低運算成本。

推測解碼是一種加速大型語言模型推論速度的技術，透過小型模型預測多個token，再由大型模型驗證，減少計算量。

競價型訓練利用閒置的雲端運算資源，以大幅降低模型訓練成本，但可能因資源回收而中斷。

隨機梯度下降（SGD）是一種迭代優化算法，用於最小化目標函數。它每次迭代僅使用一個或少量樣本計算梯度，加速訓練過程，但可能導致收斂不穩定。

支持向量機是一種機器學習模型，透過尋找最大邊界的超平面，將不同類別的資料有效分隔

時序差分學習是一種強化學習方法，透過預測未來獎勵並更新預測值，從不完整的序列中學習，無需等待完整結果。

測試時運算是指在模型部署後，進行推論時所使用的運算資源。目標是在效能和延遲之間取得平衡，以滿足實際應用需求。

改變分類模型的決策閾值來權衡精確率和召回率的技術，預設閾值通常為 0.5，調整閾值可適應不同業務需求

為降低自注意力複雜度的技術。透過僅保留分數最高的前 K 個鍵值對參與計算，有效減少記憶體與運算開銷。

軌跡最佳化是機器人學與控制領域的關鍵技術，旨在規劃出滿足特定約束條件並最佳化預設目標函數的運動路徑。

AutoML遷移學習利用預訓練模型知識，加速AutoML流程，減少訓練數據需求，提升模型泛化能力，並降低計算成本。

驗證資料集用於在模型訓練期間調整超參數和評估模型效能，以防止過擬合，並選擇最佳模型。

梯度消失是指在深度學習模型訓練中，梯度在反向傳播時逐漸縮小至接近於零，導致淺層網路權重難以更新，模型學習停滯。

預熱訓練是一種在模型訓練初期，逐步提高學習率的策略，旨在穩定訓練過程，避免初期梯度爆炸或震盪。

在模型訓練初期逐漸增加學習率的策略，可防止模型權重在訓練剛開始時因過大的梯度更新而崩潰或發散。

權重裁剪是一種正則化技術，透過將神經網路的權重限制在特定數值範圍內，以增強模型訓練的穩定性與收斂效果。

「權重衰減」是深度學習正則化技術，透過懲罰過大權重，防止模型過度擬合，提升泛化能力。

Microsoft 提出的分布式訓練優化技術，通過將梯度、優化器狀態和模型參數分片存儲在多個 GPU 上，大幅降低記憶體占用，支持訓練超大規模模型。