完整定義
拉格朗日乘數法是一種在約束條件下尋找函數局部最大值和最小值的策略。它通過引入拉格朗日乘數,將約束條件添加到目標函數中,形成拉格朗日函數。然後,通過求解拉格朗日函數的駐點,即可找到滿足約束條件的極值點。
白話說明
你要在預算有限的情況下找最好的方案,怎麼把限制一起算進去?
你可以把它想成在目標旁邊加一個「代價權重」,讓限制條件一起參與計算。
拉格朗日乘數是一種尋找約束條件下函數極值的方法。它引入拉格朗日函數,將約束條件納入目標函數,從而將約束優化問題轉化為無約束優化問題。
記住這句
限制條件也要一起算,這就是拉格朗日。
比喻:拉格朗日乘數就像你在一個被繩子綁住的區域裡找最高點 -- 你不能隨便亂走,只能在繩子圍起來的範圍內找。這個方法就是把「繩子」(約束條件)變成「地形的一部分」,讓你可以在一個更大的開放區域裡找到那個「最高點」。
容易混淆
無約束最佳化
無約束最佳化沒有額外限制,拉格朗日乘數處理的是有條件的最佳化。
KKT 條件
KKT 是不等式約束的延伸,拉格朗日乘數是更基礎的起點。
實際案例
預算分配
想把廣告預算分給不同管道,同時又不能超支,就會碰到約束最佳化。
支持向量機
SVM 的最佳間隔問題,本質上就是用拉格朗日方法處理約束。
演算法與應用
拉格朗日乘數把原本的約束問題改寫成拉格朗日函數,讓你可以用求導的方式找最優點。乘數本身常可視為影子價格,代表放寬約束一點點,目標值會改善多少。
iPAS 考題
出題方向: 這類概念常考定義、差異和實務用法。
題目 拉格朗日乘數的主要作用是什麼?
答案:把約束條件納入最佳化。 它會把有條件的問題改寫成較容易處理的形式,讓你可以在同一個框架下找最優解。
常見問題
無約束最佳化沒有額外限制,拉格朗日乘數處理的是有條件的最佳化。
你可以把它想成在目標旁邊加一個「代價權重」,讓限制條件一起參與計算。
KKT 是不等式約束的延伸,拉格朗日乘數是更基礎的起點。
以在 g(x, y) = c 的條件下求 f(x, y) 極值為例,先寫出 L = f(x, y) − λ(g(x, y) − c),再對 x、y、λ 分別偏微分並令其為 0,解聯立方程式得到候選點,最後代回 f 比較大小。例如在 x + y = 10 下求 xy 最大,可得 x = y = 5。
原始的拉格朗日乘數法處理的是等式約束。遇到 g(x) ≤ 0 這類不等式約束,要改用 KKT 條件,它多了乘數不能為負、互補鬆弛等條件,可以看成拉格朗日乘數法的推廣。支援向量機的訓練問題就是常見的例子。
經濟學常把最佳解的乘數 λ 解讀為影子價格,也就是約束放寬一單位時,目標值大約會改變多少。例如在預算限制下求效用最大,λ 可解讀為所得的邊際效用,代表多一元預算大約能多帶來多少效用。
相關術語
- 目標函數Objective Function
- 凸優化Convex Optimization
- 代價函數Cost Function
- 貝氏定理Bayes Theorem
- 梯度下降Gradient Descent
- 支持向量機Support Vector Machine
- 軌跡最佳化Trajectory Optimization
- L2 正則化L2 Regularization (Ridge)
本頁內容有提到,或屬於同一組主題的術語
來源
參考來源:en.wikipedia.org
其他格式:Markdown 版本