L223 大數據分析方法與工具
完成後你能：依資料狀況選擇標準化、Min-Max、穩健縮放或 Box-Cox 轉換，用 SMOTE 與分層交叉驗證處理不平衡資料，並依目的選對圖表。
這個單元約 20 分鐘：讀重點，練 2 題，再用 3 題沒做過的題目驗證。
- 讀重點
下方的白話重點與例子 - 練 2 題
- 驗證 3 題
步驟 1・讀重點
先看懂這些
L22301 統計學在大數據中的應用
| 方法 | 做法 | 適用 |
|---|---|---|
| 標準化（Standardization） | 減平均、除標準差，變成平均 0、標準差 1 | 距離型演算法、PCA 之前 |
| Min-Max 正規化 | 壓到 0 到 1 之間 | 有明確的上下限 |
| 穩健縮放（Robust Scaling） | 用中位數與四分位距縮放 | 有極端值 |
| Box-Cox 轉換 | 冪次轉換（資料要大於 0） | 右偏、變異數隨 X 變大 |
- PCA 之前要先標準化，不然數值大的欄位（例如交易金額）會主導主成分
- 特徵衍生：用現有欄位算出新欄位，例如銷售金額 ÷ 瀏覽次數
L22302 常見的大數據分析方法
- 隨機過採樣是複製少數類別的資料，容易過擬合，SMOTE 是合成新的少數類別樣本
- 類別不平衡時做交叉驗證，用分層 K-Fold，讓每一折的類別比例和整體一致
- 留一交叉驗證（LOOCV）：每次留一筆當測試，重複 N 次
- 異常偵測：找出和平常明顯不同的資料，例如即時找出可疑的金融交易
- 關聯規則：信賴度是買了 A 的人有多少也買 B，提升度（Lift）大於 1 代表正相關
- 高維資料的點與點距離會趨於相近，DBSCAN 的 ε 失效，可能全部被判成雜訊
- 吉尼不純度在兩類各半時最大（0.5），正規化後是 1
L22303 數據可視化工具
| 目的 | 圖表 |
|---|---|
| 多個變數兩兩的相關強度 | 熱力圖加相關係數矩陣 |
| 長尾分佈裡的層級差異 | 用對數刻度畫箱型圖或長條圖 |
| 各類別的總額比較 | 長條圖 |
| 隨時間的趨勢 | 折線圖 |
- Tufte 的數據密度原則：在同一張圖裡用顏色整合多條趨勢線，比例一致、標註清楚
data.groupby("Platform")["Global_Sales"].sum().plot(kind="bar") # 各平台銷售總額的長條圖
考試陷阱
- 標準化之後平均 0、標準差 1，不會落在 0 到 1 之間，壓到 0 到 1 的是 Min-Max 正規化
- 隨機過採樣最常造成過擬合，SMOTE 是合成新樣本，不是複製
- groupby().agg() 是先分組，再對每一組套用聚合函數
- left join 保留左表所有列，inner join 只留兩邊都有的列