搜尋意圖： 如果你在找「信念傳播 是什麼」或「信念傳播 和相近概念差在哪」，先看這頁的短定義、完整說明與延伸比較。
TL;DR： 在圖模型上透過相鄰節點間訊息的迭代交換，計算邊際分布與進行機率推論的演算法。
實用情境： 適合用在閱讀 AI 文章、產品文件或和同事討論時，先用一頁快速對齊概念。
下一步： 先讀完定義，再往下看延伸比較與對應工具，把概念轉成實際應用。
在圖模型上透過相鄰節點間訊息的迭代交換，計算邊際分布與進行機率推論的演算法。
信念傳播（Belief Propagation，BP）是一族高效的圖推論演算法，透過在圖的邊上傳遞局部訊息，將全局推論問題分解為局部計算，大幅提升計算效率。BP 的物理直覺優美，實現也相對直接，是理解圖推論的通道。
圖的拓撲與推論複雜度
在概率圖模型中，推論的複雜度與圖的結構密切相關。若圖是樹（任意兩節點間僅一路徑），變數消元與 BP 都有線性時間複雜度。若圖含環，精確推論可能指數級；此時 BP 可作為近似方法。
樹狀結構上的 BP（Sum-Product 演算法）
在樹上，BP 交替進行向上傳播（父→子）與向下傳播（子→父）的訊息交換。訊息的定義與計算如下：
節點 i 發送給鄰域節點 j 的訊息 m_{i→j} 編碼了「不含 j 側子樹的所有證據」對節點 i 的約束。在樹上，該訊息可由 i 的所有其他鄰域的訊息與 i 本身的勢函數計算得出。
訊息更新規則（Sum-Product）： m_{i→j}(x_j) = ∑{x_i} ψ(x_i, x_j) ∏{k∈N(i)\j} m_{k→i}(x_i)
其中 ψ(x_i, x_j) 是 i-j 邊的勢函數，N(i)\j 是 i 的所有鄰域除了 j。
在足夠迭代後，節點 i 的邊際信念（belief）為： b(x_i) ∝ ψ(x_i) ∏{j∈N(i)} m{j→i}(x_i)
其中 ψ(x_i) 是節點 i 的自勢函數（如觀測資料的似然）。
在樹上，經過至多兩次遍歷（向上到根，向下回葉），BP 保證精確收斂，每個節點的邊際信念等於真實後驗。
最大後驗（MAP）推論與 Max-Product 演算法
Sum-Product 計算邊際機率；若要找最可能的全局配置（最大後驗估計，MAP），可用 Max-Product 演算法：
m_{i→j}(x_j) = max_{x_i} ψ(x_i, x_j) ∏{k∈N(i)\j} m{k→i}(x_i)
訊息編碼了「最優配置在邊 (i,j) 處取值 (x_i, x_j) 的最大概率」。通過回溯這些訊息，可重構最優全局配置。
環圖與迴圈信念傳播（Loopy BP）
當圖含環時，標準 BP 無法保證收斂（訊息可能在環中持續循環）。然而，即使在環圖上，依然可執行 BP，只是訊息會反覆迭代，直到達到某種不動點或達到迭代次數上限。這稱為「迴圈信念傳播」（Loopy BP）。
Loopy BP 在實務中被證明高度有效，雖然理論上無收斂保證，但在許多真實問題（如影像降噪、編碼理論、組合最優化）中表現優異。例如，LDPC 碼（Low-Density Parity-Check codes）的解碼就基於環圖上的 BP，在通訊系統中達到接近香農極限的效能。
BP 與馬可夫隨機場的聯繫
BP 自然地適用於無向圖模型（馬可夫隨機場）。聯合分布表示為團勢的乘積 p(X) ∝ ∏_c φ_c(X_c)；訊息編碼了不同團的相互作用。BP 在 MRF 上的推論既能處理觀測變數（條件機率推論），也能處理隐變數的邊際化，是通用推論框架。
接合樹演算法
接合樹（Junction Tree）演算法將環圖轉化為樹狀超圖（節點是極大團），在樹上執行 BP。這保證了環圖上推論的精確性（在處理能力允許的情況下），但計算複雜度依賴團的大小（樹寬度）。接合樹在小規模精確推論中使用；大規模近似推論則用 Loopy BP。
變分推論與 BP 的聯繫
變分推論中的平均場假設下，最優化可由 BP 的特例推導：在完全分解的變分族（q(X) = ∏_i q(X_i)）下，坐標上升最優化的解對應 BP 訊息的某種形式。因此，BP 可視為變分推論的特定實例或反之。
實踐實現建議
BP 在實踐中實現時需注意：數值穩定性（訊息乘積易下溢，可取對數空間計算），迴圈圖的收斂判斷（監控訊息變化量或邊際信念變化），與初始化選擇（通常初始化為均勻訊息或基於先驗）。現代軟體庫（如 PyMC、PyGM）提供了高效的 BP 實現。
在 iPAS AI 應用規劃師考試中，BP 是圖推論的進階考點，要求理解訊息的含義與計算規則、樹狀結構上的精確性、環圖上的近似性、以及與其他推論方法（如變分推論）的聯繫。
常見問題
為什麼信念傳播中的訊息不能直接是邊際分布，而要經過複雜的遞迴計算？
訊息設計的巧妙之處在於局部化：訊息只編碼「通過某條邊邊界的資訊」，而不涉及整個圖。直接計算邊際分布 p(X_i|E)（E 是全局證據）需要邊際化所有其他變數，計算量指數級；BP 訊息的遞迴計算則能將這個複雜度分解為邊的操作，在樹狀結構上實現線性時間。訊息的定義 m_{i→j}(x_j) = ∑{x_i} ψ(i,j) × ∏{k≠j} m_{k→i} 看似複雜，但它利用了圖的因子分解結構，使得每個訊息只依賴相鄰節點的訊息，這種局部性正是 BP 高效的根源。
迴圈信念傳播為什麼有時候有效，有時候不收斂？
Loopy BP 的收斂性與圖的結構和因子強度有關。直覺上，若圖的環很多且環很短（大量強耦合），訊息在環中反覆傳播可能不斷改變，導致不收斂或收斂到不合理的值。但若環較少、因子較弱（節點相對獨立），訊息會逐漸穩定。實踐中，經驗是 Loopy BP 在許多實際問題（如影像降噪、推薦系統）上工作良好，儘管理論上沒有收斂保證。使用時建議：設定最大迭代次數避免無限循環；監控訊息變化判斷穩定性；對於關鍵應用可用接合樹保證精確性。有時 Loopy BP 的效果甚至超過理論上的最優（如 LDPC 碼解碼），這反映現實網路結構往往有特殊性質使 Loopy BP 有隱含的自糾正能力。
信念傳播和迴溯法（backtracking）搜尋有什麼不同？
兩者都是在圖結構上進行推論，但方向與目的不同。迴溯搜尋是確定性演算法，透過逐步分配變數值，同時檢查約束條件是否滿足；若違反約束，回退到上一變數重新嘗試。這是一種搜尋策略，找到的是「滿足所有約束的配置」（可行解）。BP 是概率推論算法，計算的是「給定觀測下各變數的邊際分布」（機率），而非特定配置。BP 能處理軟約束（機率、勢函數），處理的是概率推理而非可行性檢查。兩者在約束滿足問題（CSP）上有聯繫（BP 可用於 CSP 的編碼），但應用場景與答案形式完全不同。