如果涉及的因素只有那麽幾個，壹個學過概率論的大學生就可以使用簡單的概率公式計算出來。可是，在現實世界中有成千上萬的因素，它們相互聯系，如果按照傳統方法，就要對數以千計的變量進行積分。考慮到運算量對於變量個數以指數增長，因此這麽做實際上根本沒法算的。雖然，後來人們提出了蒙特卡羅(Monte Carlo)積分，但是對於擁有數以千計變量的復雜系統，仍然可以說是computationally prohibitive。
這個困難壹直阻礙著統計推斷方法在大規模系統中的應用。Belief propagation出來之後，情況才發生了轉變。J. Pearl在他的書中分析說，人們在頭腦中經常進行各種各樣的推斷，可是人在頭腦裏面發生了什麽事情呢：窮舉所有未知變量的可能狀態進行積分(Traditional method)？還是隨即產生各種狀態求均值(Monte Carlo Integral)，看來都不make sense。J. Pearl認為，雖然影響世界的因素繁多，但是每個因素實際上只與少數幾個因素相關，這就構成了壹個推斷網絡。在machine learning裏面，這樣的網絡有兩種：Bayesian Network，反映的是因果推斷關系（就是說，相互聯系的因素中，其中壹個是因，另外壹個是果），以及Markov Network， 反映的是相互影響的關系（兩個因素互為因果，其變化相互影響）。根據這種建模方式，J.Pearl提出把inference局部化和分布化，把全局的積分變成局部的消息傳遞。網絡中的每個節點通過和鄰近節點交換信息對自身的概率狀況進行評估。通過這種方式，使得計算量從指數增長變成近似的線性增長，從而使得統計推斷能在復雜系統中被應用。
數學上可以證明，對於有向無環的Bayesian Network，可以證明，通過BP得到的解和嚴格的積分計算得到的結果是壹致的。這時的BP只是利用因素聯系的局部性來簡化計算，並把計算過程分散到各個節點。對於無向而且到處是環的markov network，J.Pearl指出，這種傳播過程是可能導致不穩定的。某些消息可能在環狀的傳播過程中無限加強，從而導致整個系統發散或者偏離。但是實際經驗表明，對於大部分問題，BP在帶環的系統中依然工作良好。很多人對這個現象進行了研究，對於某些特例給出了初步的解釋，但是關於Loopy BP的穩定性和收斂性問題，離理論上的最終解決，還有很長的路要走。
在computer vision領域，MIT的著名教授W.T. Freeman是BP方法的積極倡導者，他大量使用markov random field和belief propagation對圖像進行建模，在很多應用領域取得了不錯的結果。
標準BP(Standard Belief Propagation ) [4]