變分推論 是什麼？
Variational Inference：變分推論 的完整解釋
將貝葉斯推論問題轉化為最優化問題，用易於計算的分布逼近複雜的後驗分布。
變分推論（Variational Inference，VI）是處理複雜貝葉斯推論的強大工具，當精確推論計算量過大時提供可行的近似方案。VI 將推論問題重新框架為最優化問題，利用現代最優化工具（如梯度下降）求解，使大規模貝葉斯模型的推論成為可能。
貝葉斯推論與後驗推導難題
貝葉斯推論的目標是根據觀測資料 X 推導隱變數 Z 的後驗分布 p(Z|X) = p(X,Z) / p(X)。其中配分函數 p(X) = ∫ p(X,Z) dZ 的計算往往困難：在連續空間中這是一個高維積分，在離散空間中是組合爆炸。當模型複雜（如深層神經網路+隱變數）時，精確推論幾乎不可行。
變分下界與 ELBO
變分推論的關鍵是尋找下界。定義變分分布 q(Z)（對真實後驗 p(Z|X) 的近似），有不等式：
log p(X) = KL(q(Z) || p(Z|X)) + ELBO(q)
其中 ELBO（Evidence Lower Bound）= 𝔼_q[log p(X,Z)] - 𝔼_q[log q(Z)]，稱為「證據下界」。
由於 KL 散度非負，ELBO ≤ log p(X)。當我們最大化 ELBO（等同於最小化 KL 散度），推導出的 q(Z) 會逐漸逼近真實後驗。這將貝葉斯推論問題轉化為：
max_q ELBO(q) = max_q 𝔼_q[log p(X,Z)] - 𝔼_q[log q(Z)]
第一項是「重構項」（reconstruction），鼓勵分布解釋觀測資料；第二項是「正則化項」（regularization），來自 KL 散度，約束 q(Z) 不偏離先驗 p(Z)。
變分族與平均場假設
要使最優化問題可解，必須限制 q(Z) 的函數形式（變分族）。常見選擇包含：
平均場假設（Mean Field）：假設 q(Z) 分解為獨立的邊際分布 q(Z) = ∏_i q(Z_i)。這大幅簡化了最優化，使得 ELBO 的梯度易於計算，但假設獨立性可能過強，導致欠估計後驗的依賴。
Structured variational inference：允許 q(Z) 保留某些依賴結構（如因子分解但保留某些變數間的相關），在準確性與計算成本間平衡。
Auto-encoding variational Bayes（AEVB）：用神經網路參數化 q(Z|X)，使變分族足夠靈活以逼近複雜後驗。
坐標上升變分推論（CAVI）與隨機變分推論（SVI）
坐標上升變分推論（Coordinate Ascent Variational Inference，CAVI）是經典的變分推論演算法。在平均場假設下，CAVI 交替最優化每個 q(Z_i)，保持其他 q(Z_j≠i) 固定。每次更新有閉形式解：
q*(Z_i) ∝ exp(𝔼_{q(-Z_i)}[log p(X,Z)])
CAVI 保證單調提升 ELBO，最終收斂到局部最優。缺點是當資料大時，每次迭代仍需遍歷全部資料。
隨機變分推論（Stochastic Variational Inference，SVI）透過小批量（minibatch）資料估計自然梯度，使變分推論能應用於大規模資料集。這是現代大規模貝葉斯推論的基礎。
黑箱變分推論與自動微分
黑箱變分推論（Black Box VI）將問題一般化：只需提供模型的對數聯合分布 log p(X,Z) 與變分族的對數密度 log q(Z|λ)，自動微分可計算 ELBO 的梯度，進行隨機梯度下降。這使得實務中無需為每個模型導出更新公式，大幅降低了變分推論的使用門檻。
重參數化技巧與 VAE
在神經網路參數化變分族 q(Z|X;φ) 時，梯度計算面臨「離散採樣」的問題：從 q 中採樣不可微，無法直接用反向傳播。重參數化技巧（Reparameterization Trick）解決了這個問題：若 Z ~ q(Z|X;φ) 可分解為確定性函數加上獨立噪聲，如 Z = μ(X;φ) + σ(X;φ) ⊙ ε（ε ~ N(0,1)），則採樣可透過這個確定性函數進行，梯度可反向傳播。
變分自動編碼器（Variational Autoencoder，VAE）正是基於重參數化技巧與變分推論實現的深度生成模型。VAE 的損失函數就是負 ELBO，同時優化編碼器 q_φ(Z|X) 與解碼器 p_θ(X|Z)，進行無監督表示學習。
變分推論的限制
變分推論的主要限制是「變分間隙」（variational gap）：由於 q(Z) 是近似，計算出的 ELBO 可能遠小於真實 log p(X)，導致推導的後驗質量不足（under-coverage）。特別在平均場假設下，q(Z) 傾向於欠估計後驗的方差，可能遺漏模式間的多峰結構。
此外，變分推論的收斂性（local optima）與假設滿足程度（是否真的有好的變分族逼近後驗）都影響最終品質，需要小心驗證。
在 iPAS AI 應用規劃師考試中，變分推論是進階題目，考生需理解 ELBO 的推導、平均場假設與坐標上升算法的原理、以及 VAE 等應用的理論基礎。