L224 大數據在人工智慧之應用
完成後你能：說出資料量、維度與品質對機器學習的影響，分辨大數據在鑑別式與生成式 AI 的用法，並分辨匿名化、假名化、同態加密、差分隱私與聯邦學習各保護什麼。
這個單元約 20 分鐘：讀重點，練 2 題，再用 3 題沒做過的題目驗證。
- 讀重點
下方的白話重點與例子 - 練 2 題
- 驗證 3 題
步驟 1・讀重點
先看懂這些
L22401 大數據與機器學習
- 資料量大：單機放不下，要分散式運算與分散式訓練
- 維度高：點與點的距離趨於相近（維度詛咒），先降維或做特徵選擇
- 資料品質：缺失、重複與標註錯誤會直接影響模型
L22402 鑑別式 AI 與 L22403 生成式 AI 的應用
| 用途 | 大數據的角色 | 例子 |
|---|---|---|
| 鑑別式 AI | 用大量歷史資料做預測與分類 | 詐欺偵測、顧客流失預測、推薦系統 |
| 生成式 AI | 大規模、多樣化的語料與資料做預訓練 | 資料湖存放，再用 Spark 或 Ray 做分散式前處理，接到訓練管線 |
L22404 大數據隱私保護、安全與合規
| 技術 | 保護方式 | 考試關鍵詞 |
|---|---|---|
| 匿名化 | 移除可以識別個人的資訊，無法還原 | 訓練前處理 |
| 假名化（偽匿名化） | 用代號取代識別資訊，有對照表可以還原 | 保護程度比匿名化低 |
| 同態加密 | 資料在加密狀態下直接運算 | 雲端不用解密就能算 |
| 差分隱私 | 在結果加入雜訊，看不出單一個人 | 統計發布、模型訓練 |
| 聯邦學習 | 資料留在各自的地方，只交換模型更新 | 跨機構合作 |
114 年第二梯次原卷考過：生成式 AI 客服要保護個資，訓練前先做匿名化或假名化，再加上輸出內容的稽核機制。
考試陷阱
- 同態加密的重點是加密狀態下直接運算，解密後的結果和用明文算的一樣
- 假名化的資料還能透過對照表還原，保護程度比匿名化低