信念傳播 是什麼？
Belief Propagation：信念傳播 的完整解釋
在圖模型上透過相鄰節點間訊息的迭代交換，計算邊際分布與進行機率推論的演算法。
信念傳播（Belief Propagation，BP）是一族高效的圖推論演算法，透過在圖的邊上傳遞局部訊息，將全局推論問題分解為局部計算，大幅提升計算效率。BP 的物理直覺優美，實現也相對直接，是理解圖推論的通道。
圖的拓撲與推論複雜度
在概率圖模型中，推論的複雜度與圖的結構密切相關。若圖是樹（任意兩節點間僅一路徑），變數消元與 BP 都有線性時間複雜度。若圖含環，精確推論可能指數級；此時 BP 可作為近似方法。
樹狀結構上的 BP（Sum-Product 演算法）
在樹上，BP 交替進行向上傳播（父→子）與向下傳播（子→父）的訊息交換。訊息的定義與計算如下：
節點 i 發送給鄰域節點 j 的訊息 m_{i→j} 編碼了「不含 j 側子樹的所有證據」對節點 i 的約束。在樹上，該訊息可由 i 的所有其他鄰域的訊息與 i 本身的勢函數計算得出。
訊息更新規則（Sum-Product）： m_{i→j}(x_j) = ∑{x_i} ψ(x_i, x_j) ∏{k∈N(i)\j} m_{k→i}(x_i)
其中 ψ(x_i, x_j) 是 i-j 邊的勢函數，N(i)\j 是 i 的所有鄰域除了 j。
在足夠迭代後，節點 i 的邊際信念（belief）為： b(x_i) ∝ ψ(x_i) ∏{j∈N(i)} m{j→i}(x_i)
其中 ψ(x_i) 是節點 i 的自勢函數（如觀測資料的似然）。
在樹上，經過至多兩次遍歷（向上到根，向下回葉），BP 保證精確收斂，每個節點的邊際信念等於真實後驗。
最大後驗（MAP）推論與 Max-Product 演算法
Sum-Product 計算邊際機率；若要找最可能的全局配置（最大後驗估計，MAP），可用 Max-Product 演算法：
m_{i→j}(x_j) = max_{x_i} ψ(x_i, x_j) ∏{k∈N(i)\j} m{k→i}(x_i)
訊息編碼了「最優配置在邊 (i,j) 處取值 (x_i, x_j) 的最大概率」。通過回溯這些訊息，可重構最優全局配置。
環圖與迴圈信念傳播（Loopy BP）
當圖含環時，標準 BP 無法保證收斂（訊息可能在環中持續循環）。然而，即使在環圖上，依然可執行 BP，只是訊息會反覆迭代，直到達到某種不動點或達到迭代次數上限。這稱為「迴圈信念傳播」（Loopy BP）。
Loopy BP 在實務中被證明高度有效，雖然理論上無收斂保證，但在許多真實問題（如影像降噪、編碼理論、組合最優化）中表現優異。例如，LDPC 碼（Low-Density Parity-Check codes）的解碼就基於環圖上的 BP，在通訊系統中達到接近香農極限的效能。
BP 與馬可夫隨機場的聯繫
BP 自然地適用於無向圖模型（馬可夫隨機場）。聯合分布表示為團勢的乘積 p(X) ∝ ∏_c φ_c(X_c)；訊息編碼了不同團的相互作用。BP 在 MRF 上的推論既能處理觀測變數（條件機率推論），也能處理隐變數的邊際化，是通用推論框架。
接合樹演算法
接合樹（Junction Tree）演算法將環圖轉化為樹狀超圖（節點是極大團），在樹上執行 BP。這保證了環圖上推論的精確性（在處理能力允許的情況下），但計算複雜度依賴團的大小（樹寬度）。接合樹在小規模精確推論中使用；大規模近似推論則用 Loopy BP。
變分推論與 BP 的聯繫
變分推論中的平均場假設下，最優化可由 BP 的特例推導：在完全分解的變分族（q(X) = ∏_i q(X_i)）下，坐標上升最優化的解對應 BP 訊息的某種形式。因此，BP 可視為變分推論的特定實例或反之。
實踐實現建議
BP 在實踐中實現時需注意：數值穩定性（訊息乘積易下溢，可取對數空間計算），迴圈圖的收斂判斷（監控訊息變化量或邊際信念變化），與初始化選擇（通常初始化為均勻訊息或基於先驗）。現代軟體庫（如 PyMC、PyGM）提供了高效的 BP 實現。
在 iPAS AI 應用規劃師考試中，BP 是圖推論的進階考點，要求理解訊息的含義與計算規則、樹狀結構上的精確性、環圖上的近似性、以及與其他推論方法（如變分推論）的聯繫。