完整定義
A/B測試是一種受控的隨機實驗方法,用於比較兩個或多個版本的變數(例如:網頁標題、按鈕顏色、模型版本),以確定哪個版本在預先定義的指標上表現更好。它能夠幫助數據科學家和產品經理做出基於數據的決策,常見應用包括優化網站設計、提升廣告點擊率、改善模型效能。
白話說明
你有沒有注意過,同一個 App 你跟朋友看到的介面長得不一樣?
這不是 bug。很多產品會同時準備兩個版本,隨機分給不同用戶,然後比較哪一版讓更多人點擊、購買、或完成註冊。這就是 A/B 測試:把用戶分成兩組,一組看原本的版本(A),一組看改過的版本(B),用數據決定哪個更好,而不是靠直覺猜。
為什麼不直接改?因為你覺得「比較好」的設計,用戶不一定買單。把按鈕從藍色改成綠色,轉換率可能提升 3% 也可能下降 5%,不測就不知道。
記住這句
兩個版本、隨機分組、用數據判定勝負,不猜。
比喻:A/B測試就像是醫生要決定哪種藥效果更好時,把病人隨機分成兩組,一組吃舊藥,一組吃新藥 -- 這樣就能客觀比較兩種藥的療效,知道哪個方案真的比較有效。
容易混淆
A/B 測試 vs 多變量測試 vs 金絲雀部署
A/B 測試:同一時間只改一個變數,比較兩個版本的效果差異。
多變量測試:同時改多個變數的多種組合,找出最佳搭配。
金絲雀部署:先讓少數用戶用新版本,確認沒問題才全面推出,重點是降低風險而非比較效果。
最關鍵的區別:A/B 測試的目的是「比較哪個更好」,金絲雀部署的目的是「確認新版不會出事」。
實際案例
Netflix 縮圖測試
Netflix 每部影片都有多張候選縮圖,不是由設計師選「最好看的那張」,而是把不同縮圖隨機展示給不同用戶,追蹤哪張讓最多人點進去看。有些影片光是換一張縮圖,點擊率就差了 20% 以上。
電商結帳流程
一家電商發現購物車放棄率很高,團隊猜測是結帳步驟太多,於是設計了一頁式結帳(B 版)跟原本的三步驟結帳(A 版)做測試。結果出乎意料:三步驟版的轉換率反而更高,因為用戶在一頁式版本中看到太多欄位感到壓迫。
深入了解
- 步驟
- 定義目標
- 做什麼
- 決定你要優化什麼指標(點擊率、轉換率、留存率)
- 關鍵考量
- 一次只測一個主要指標,避免分心
- 步驟
- 設計變體
- 做什麼
- 製作 B 版本,只改你要測試的那一個變數
- 關鍵考量
- 改太多東西就不知道是哪個變數造成差異
- 步驟
- 隨機分組
- 做什麼
- 把用戶隨機分成 A 組和 B 組
- 關鍵考量
- 隨機很重要,不能讓某類用戶集中在同一組
- 步驟
- 收集數據
- 做什麼
- 讓測試跑夠久,累積足夠樣本量
- 關鍵考量
- 太早看結果容易被隨機波動誤導
- 步驟
- 統計檢定
- 做什麼
- 用 t 檢定或卡方檢定判斷差異是否顯著
- 關鍵考量
- p 值 < 0.05 才能說結果不是巧合
- 步驟
- 做決策
- 做什麼
- 根據結果選擇勝出版本,全面上線
- 關鍵考量
- 效果不顯著就維持原版,不要硬選
情境判斷
Q1(直覺題): 你想知道把「立即購買」按鈕從藍色改成紅色會不會提升銷售。你應該直接改成紅色上線,還是做 A/B 測試?
A/B 測試。顏色偏好因受眾而異,直接改可能降低銷售卻不自知。測試能用數據告訴你真正的答案。
Q2(判斷題): 你的 A/B 測試跑了三天,B 版轉換率比 A 版高 15%,但 p 值是 0.12。你應該宣布 B 版勝出嗎?
不應該。p 值 0.12 表示有 12% 的機率這個差距只是巧合,沒有達到通常要求的 5% 門檻。你應該繼續跑測試直到樣本量夠大,或者接受結果不顯著維持 A 版。但如果商業壓力大、改動風險低,有些團隊會選擇在較寬鬆的門檻下採用 B 版,這是業務判斷而非統計判斷。
常見問題
取決於你想偵測多小的差異。如果你期待轉換率從 5% 提升到 6%(相對提升 20%),大約需要每組 3,000 到 5,000 人。差異越小需要的樣本越多,有免費的線上計算器可以幫你估算。
可以,那叫 A/B/n 測試。但版本越多需要的樣本量越大,測試時間也越長,而且要注意多重比較問題,需要用 Bonferroni 校正等方法調整門檻。
它只能告訴你「哪個版本表現更好」,不能告訴你「為什麼更好」。想了解原因需要搭配用戶訪談、熱圖分析等質性研究方法。
出現在這些考古題
官方公告試題的逐題解析裡,這 3 題把A/B測試列為延伸術語。
相關術語
來源
這個術語目前沒有標註外部來源。
其他格式:Markdown 版本