AITerms 登入
統計方法數學基礎機器學習

白努利分布(Bernoulli Distribution)是什麼?

白努利分布描述只有兩種結果的單次試驗,成功記為 1、機率為 p,失敗記為 0、機率為 1−p,也寫作伯努利分布。

同主題的術語機器學習

完整定義

白努利分布(Bernoulli Distribution,也寫作伯努利分布)是只有 0、1 兩個可能值的離散機率分布,描述一次只有兩種結果的試驗,例如擲一次硬幣、一封郵件是不是垃圾郵件、一位使用者有沒有點擊廣告。把成功記為 1、失敗記為 0,成功的機率是 p(0 ≤ p ≤ 1),失敗的機率是 1−p,期望值(平均數)是 p,變異數是 p(1−p)。同一種試驗獨立重複 n 次、每次成功機率都是 p,成功的次數就服從二項分布,期望值是 np,標準差是 √(np(1−p)),白努利分布可以看成 n = 1 的二項分布。常見的經驗法則是 np 與 n(1−p) 都大於 5 時,二項分布可以用常態分布近似。機器學習裡,邏輯迴歸輸出的是給定輸入時正類別的機率 P(y = 1 | x),可以解讀成這筆資料白努利分布的參數 p,神經網路的 Dropout(隨機丟棄)也是用白努利分布的樣本決定哪些數值要歸零。

白話說明

只有「是」或「不是」兩種結果的事情,機率要怎麼描述?

白努利分布就是描述這種單次試驗的機率分布:成功記為 1、機率是 p,失敗記為 0、機率是 1−p。

它是二項分布的基本單位,同一種試驗獨立重複 n 次、每次成功機率都相同,成功的次數就是二項分布。名稱來自 17 世紀後期深入研究這類試驗的數學家 Jacob Bernoulli,中文也常音譯成伯努利,指的是同一個分布。

記住這句

一次試驗、兩種結果、成功機率 p,就是白努利分布。

比喻:白努利分布像一個只會亮綠燈或紅燈的開關,每按一次有 p 的機率亮綠燈(1)、1−p 的機率亮紅燈(0),按固定 n 次(每次互不影響)之後數綠燈亮了幾次,就是二項分布

容易混淆

白努利分布 vs 二項分布

白努利分布只看一次試驗的結果,值只有 0 或 1

二項分布看的是 n 次獨立、成功機率都相同的試驗裡總共成功幾次,值是 0 到 n 的整數

最關鍵的區別是試驗次數,白努利分布可以看成 n = 1 的二項分布。

二項分布 vs 常態分布

二項分布是離散的,只能取 0、1、2、…、n 這些整數

常態分布是連續的鐘形曲線

常見的經驗法則是 np 與 n(1−p) 都大於 5 時,二項分布可以用常態分布近似,只看 n 大還不夠,p 很接近 0 或 1 時需要更多次試驗。

實際案例

廣告點擊

廣告每被看到一次,使用者不是點擊(1)就是沒點擊(0)。假設每次曝光互相獨立、點擊機率都是 0.02,每一次曝光就是 p = 0.02 的白努利試驗,1,000 次曝光的點擊數服從 n = 1,000、p = 0.02 的二項分布,期望值是 20 次。

Dropout

訓練神經網路時,Dropout 會隨機把部分數值歸零,PyTorch 官方文件寫明歸零的元素在每次前向計算時獨立選出,取樣自白努利分布。

演算法與應用

機率質量函數:P(X = 1) = p,P(X = 0) = 1 − p,X 只能是 0 或 1。

期望值 E(X) = p,變異數 Var(X) = p(1 − p) = 1/4 − (p − 1/2)²,所以 p = 0.5 時變異數最大(0.25),兩種結果機會各半,最不確定。

n 次獨立、成功機率都是 p 的白努利試驗加總起來是二項分布,期望值 np,標準差 √(np(1 − p))。

Python 可以用 scipy.stats.bernoulli 計算機率或抽樣。會輸出機率的二元分類模型(例如邏輯迴歸)對每筆資料輸出的正類別機率,可以當成那筆資料的 p 來解讀。

情境判斷

Q1(直覺題):檢查一個產品是不是瑕疵品,只記錄「是」或「否」,這一次檢查適合用哪一種分布描述?

白努利分布,結果只有兩種,瑕疵的機率就是 p。

Q2(判斷題):做 400 次成功機率 0.1 的獨立試驗,成功次數可以用常態分布近似嗎?

可以。np = 40、n(1 − p) = 360,都大於常見的經驗門檻 5,二項分布可以用常態分布近似。

常見問題

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

參考來源:docs.scipy.org

其他格式:Markdown 版本