完整定義
白努利分布(Bernoulli Distribution,也寫作伯努利分布)是只有 0、1 兩個可能值的離散機率分布,描述一次只有兩種結果的試驗,例如擲一次硬幣、一封郵件是不是垃圾郵件、一位使用者有沒有點擊廣告。把成功記為 1、失敗記為 0,成功的機率是 p(0 ≤ p ≤ 1),失敗的機率是 1−p,期望值(平均數)是 p,變異數是 p(1−p)。同一種試驗獨立重複 n 次、每次成功機率都是 p,成功的次數就服從二項分布,期望值是 np,標準差是 √(np(1−p)),白努利分布可以看成 n = 1 的二項分布。常見的經驗法則是 np 與 n(1−p) 都大於 5 時,二項分布可以用常態分布近似。機器學習裡,邏輯迴歸輸出的是給定輸入時正類別的機率 P(y = 1 | x),可以解讀成這筆資料白努利分布的參數 p,神經網路的 Dropout(隨機丟棄)也是用白努利分布的樣本決定哪些數值要歸零。
白話說明
只有「是」或「不是」兩種結果的事情,機率要怎麼描述?
白努利分布就是描述這種單次試驗的機率分布:成功記為 1、機率是 p,失敗記為 0、機率是 1−p。
它是二項分布的基本單位,同一種試驗獨立重複 n 次、每次成功機率都相同,成功的次數就是二項分布。名稱來自 17 世紀後期深入研究這類試驗的數學家 Jacob Bernoulli,中文也常音譯成伯努利,指的是同一個分布。
記住這句
一次試驗、兩種結果、成功機率 p,就是白努利分布。
比喻:白努利分布像一個只會亮綠燈或紅燈的開關,每按一次有 p 的機率亮綠燈(1)、1−p 的機率亮紅燈(0),按固定 n 次(每次互不影響)之後數綠燈亮了幾次,就是二項分布
容易混淆
白努利分布 vs 二項分布
白努利分布只看一次試驗的結果,值只有 0 或 1
二項分布看的是 n 次獨立、成功機率都相同的試驗裡總共成功幾次,值是 0 到 n 的整數
最關鍵的區別是試驗次數,白努利分布可以看成 n = 1 的二項分布。
二項分布 vs 常態分布
二項分布是離散的,只能取 0、1、2、…、n 這些整數
常態分布是連續的鐘形曲線
常見的經驗法則是 np 與 n(1−p) 都大於 5 時,二項分布可以用常態分布近似,只看 n 大還不夠,p 很接近 0 或 1 時需要更多次試驗。
實際案例
廣告點擊
廣告每被看到一次,使用者不是點擊(1)就是沒點擊(0)。假設每次曝光互相獨立、點擊機率都是 0.02,每一次曝光就是 p = 0.02 的白努利試驗,1,000 次曝光的點擊數服從 n = 1,000、p = 0.02 的二項分布,期望值是 20 次。
Dropout
訓練神經網路時,Dropout 會隨機把部分數值歸零,PyTorch 官方文件寫明歸零的元素在每次前向計算時獨立選出,取樣自白努利分布。
演算法與應用
機率質量函數:P(X = 1) = p,P(X = 0) = 1 − p,X 只能是 0 或 1。
期望值 E(X) = p,變異數 Var(X) = p(1 − p) = 1/4 − (p − 1/2)²,所以 p = 0.5 時變異數最大(0.25),兩種結果機會各半,最不確定。
n 次獨立、成功機率都是 p 的白努利試驗加總起來是二項分布,期望值 np,標準差 √(np(1 − p))。
Python 可以用 scipy.stats.bernoulli 計算機率或抽樣。會輸出機率的二元分類模型(例如邏輯迴歸)對每筆資料輸出的正類別機率,可以當成那筆資料的 p 來解讀。
情境判斷
Q1(直覺題):檢查一個產品是不是瑕疵品,只記錄「是」或「否」,這一次檢查適合用哪一種分布描述?
白努利分布,結果只有兩種,瑕疵的機率就是 p。
Q2(判斷題):做 400 次成功機率 0.1 的獨立試驗,成功次數可以用常態分布近似嗎?
可以。np = 40、n(1 − p) = 360,都大於常見的經驗門檻 5,二項分布可以用常態分布近似。
常見問題
一樣。Bernoulli 的中文音譯不只一種,白努利、伯努利指的都是同一個分布,名稱來自研究這類試驗的數學家 Jacob Bernoulli。
成功機率為 p 時,期望值(平均數)是 p,變異數是 p(1−p)。p = 0.5 時變異數最大(0.25),代表兩種結果機會各半,最不確定。
同一種白努利試驗獨立重複 n 次、每次成功機率都是 p,成功的次數就服從二項分布,期望值 np。白努利分布可以看成 n = 1 的二項分布。
常見的經驗法則是 np 與 n(1−p) 都大於 5。例如 n = 400、p = 0.1 時,np = 40、n(1−p) = 360,就可以用常態分布近似。
邏輯迴歸輸出給定輸入時正類別的機率 P(y = 1 | x),可以解讀成這筆資料白努利分布的參數 p,scikit-learn 文件也把邏輯迴歸描述為條件分布是二項或白努利分布的廣義線性模型。訓練神經網路的 Dropout 則用白努利分布的樣本決定哪些數值要歸零。
相關術語
來源
參考來源:docs.scipy.org
其他格式:Markdown 版本