L231 機器學習基礎數學
完成後你能：用條件機率、貝氏定理與蒙地卡羅方法算機率，從特徵值判斷 PCA 要保留幾個主成分，說出 R² 的意思，並分辨梯度下降、學習率與 Adam。
這個單元約 20 分鐘：讀重點，練 2 題，再用 3 題沒做過的題目驗證。
- 讀重點
下方的白話重點與例子 - 練 2 題
- 驗證 3 題
步驟 1・讀重點
先看懂這些
L23101 機率與統計
- 條件機率 P(A|B) ＝ P(A∩B) ÷ P(B)，用蒙地卡羅模擬時就是「A 和 B 同時發生的次數 ÷ B 發生的次數」
- 貝氏定理：用先驗機率加上觀察到的證據，算出後驗機率，例如依顧客行為算會不會購買
- 蒙地卡羅方法：反覆隨機抽樣模擬，估計結果的機率分佈與風險區間
- R² ＝ 0.85：資料的變異有 85% 可以被模型解釋，不是準確率 85%
p_a_given_b = A_and_B.sum() / B.sum() # 模擬結果裡的 P(A|B)
L23102 線性代數
- 向量內積：np.dot([1, 2, 3], [4, 5, 6]) ＝ 1×4 ＋ 2×5 ＋ 3×6 ＝ 32
- PCA：對共變異數矩陣做特徵值分解，特徵值越大的主成分解釋越多變異
- 要保留幾個主成分：例如特徵值 6、3、1，前兩個解釋 (6 ＋ 3) ÷ 10 ＝ 90% 的變異
L23103 數值優化
| 方法 | 重點 |
|---|---|
| 梯度下降 | 沿著梯度的反方向更新權重，非凸函數可能停在局部最優解 |
| 學習率 | 每次更新的步幅，太大不穩定，太小收斂慢 |
| SGD | 每次用一筆或一小批資料算梯度 |
| Adam | 同時維護梯度的一階矩（動量）與二階矩，內建動量機制 |
- 演算法效率：每位客戶都和其他所有客戶比對一次是 O(n²)，資料量變 10 倍，比對次數約變 100 倍
考試陷阱
- R² 是模型解釋了多少變異，不是準確率
- 非凸函數用梯度下降可能停在局部最優解，不保證找到全域最優解
- 學習率是超參數，控制的是權重更新的步幅