L112 資料處理與分析概念
完成後你能：說出大數據的 5V，分辨結構化、半結構化與非結構化資料，也分辨 Normalization 與 Standardization，以及特徵選擇與特徵萃取。
這個單元約 15 分鐘：讀重點，練 2 題，再用 3 題沒做過的題目驗證。
- 讀重點
下方的白話重點與例子 - 練 2 題
- 驗證 3 題
步驟 1・讀重點
先看懂這些
大數據 5V 與資料類型
5V 特性
- Volume（量）：資料量極大
- Velocity（速）：產生速度快
- Variety（多樣）：結構 / 半 / 非結構化
- Veracity（真實）：資料品質問題
- Value（價值）：從資料萃取洞察
資料結構分類
- 結構化：表格（SQL 資料庫）
- 半結構化：JSON、XML、CSV
- 非結構化：圖片、影片、文字
特徵工程（容易混淆）
Normalization vs Standardization
| 方法 | 結果 | 適用 |
|---|---|---|
| Normalization | [0, 1] | 有明確上下限時 |
| Standardization | 均值 0、標準差 1 | 常態分佈假設下 |
特徵選擇 vs 特徵萃取
- 選擇：從現有特徵中挑重要的（不改變特徵本身）
- 萃取：建立新的特徵（如 PCA 降維）