L22 大數據處理分析與應用
iPAS AI 應用規劃師 中級科目二完整學習路線。含 Python/PySpark 程式碼閱讀重點（約 25% 題數）、假設檢定、資料不平衡處理等考點。
- 題數
- 50 題單選題
- 考試時間
- 90 分鐘
- 及格
- 70 分（兩科都要）
- 程式題
- 約 25%，要看懂不用寫
中級共考 2 科：L21 必考，再從 L22 或 L23 擇一，兩科都要 70 分以上才算通過。
程式題特別說明（約 25% 題數）
L22 有約 12–13 題 Python/PySpark 程式碼閱讀題。不需要會寫程式，但要能看懂以下操作的邏輯和結果：
# 分組統計
df.groupby('category').agg({'sales': 'sum', 'count': 'mean'}).reset_index()
# 表格合併
merged = df1.merge(df2, on='user_id', how='left') # left join
# 資料清理
clean_df = df.dropna(subset=['revenue']).query('revenue > 0')重點：看懂執行邏輯和輸出結果，不需要背 API 名稱。
115 年新考點
- PySpark DataFrame 程式碼閱讀（groupBy、agg、join、filter）
- Apache Kafka 串流架構（Producer、Consumer、Topic、Partition）
- Delta Lake（支援 ACID 的資料湖）
- Feature Store 概念（特徵集中管理、重複使用）
約 25% 是 Python 或 PySpark 程式碼閱讀題，不用寫程式，但要看懂操作邏輯。
知識點地圖
依評鑑範圍整理，每個主題都可以直接練題目。
L221 機率統計基礎
敘述性統計
- 集中趨勢：平均數 / 中位數 / 眾數
- 離散程度：標準差 / 變異數 / 四分位距
- 偏度（Skewness）與峰度（Kurtosis）
假設檢定（重點）
- H₀（虛無假設）vs H₁（對立假設）
- p 值 < α → 拒絕 H₀（顯著）
- Type I Error = 拒絕真實 H₀（= α）
- Type II Error = 接受假 H₀（= β）
L222 大數據處理技術
ETL vs ELT
- ETL：Extract → Transform → Load（傳統倉儲）
- ELT：Extract → Load → Transform（現代資料湖）
- 批次處理（Batch）vs 串流處理（Streaming）
儲存架構
- Data Warehouse vs Data Lake vs Data Lakehouse
- OLTP（交易）vs OLAP（分析）
- Kafka：事件串流（Producer → Topic → Consumer）
L223 大數據分析方法
資料不平衡處理
- SMOTE：合成少數類別樣本（過採樣）
- 欠採樣（Undersampling）
- 加權損失函數
程式碼閱讀重點
- groupby().agg()：分組 + 聚合
- merge() how 參數：left/right/inner/outer
- pivot_table：多維交叉分析
只練 L22：一個知識點配一組題目
依官方評鑑範圍列出 L22 的知識點，讀完概念後直接做同一知識點的題目，題目還不夠 3 題的知識點先不連。
L221 機率統計基礎
- L22101敘述性統計與資料摘要技術數據的集中趨勢、離散程度與分佈型態、數據清理與剖析，看這個知識點的題目
- L22102機率分佈與資料分佈模型機率理論模型與分佈特性，看這個知識點的題目
-
L22103
假設檢定與統計推論
p 值判斷、Type I/II Error、顯著水準 α、單尾與雙尾
L222 大數據處理技術
-
L22201
數據收集與清理
數據預處理、特徵提取
- L22202數據儲存與管理資料庫架構、儲存機制、模型訓練，看這個知識點的題目
-
L22203
數據處理技術與工具
Apache Spark、Hadoop、Kafka、批次 vs 串流處理
L223 大數據分析方法與工具
L224 大數據在人工智慧之應用
常見陷阱
groupby().agg() 的順序：先分組，再對每組套用聚合函數
join 的語意：left join 保留左表所有列，inner join 只留兩表都有的列
型一錯誤是拒絕真的 H₀，型二錯誤是接受假的 H₀
p < α 時拒絕 H₀，p > α 時無法拒絕 H₀
備考計畫
7 天速成建議
- Day 1–2：L221 統計基礎（假設檢定、p 值判斷）
- Day 3：L222 ETL vs ELT + 資料架構
- Day 4：Python/pandas 程式碼閱讀練習（groupby/merge）
- Day 5：L223 資料不平衡 + 視覺化
- Day 6–7：做題 + 錯題複習
策略：程式碼題不用背語法，要看懂「這段程式在做什麼」與「執行結果是什麼」，pandas 與 PySpark 的 groupby、merge、pivot 是重點。