---
title: "Spark（Apache Spark）"
slug: apache-spark
language: zh-TW
source: https://aiterms.tw/terms/apache-spark
updated_at: 2026-11-16
tags: [大數據, 資料處理, 機器學習, Apache Spark, PySpark, Spark SQL, MLlib, Structured Streaming, 分散式運算]
ipas_term: false
---

# Spark（Apache Spark）

> **資料大到一台電腦裝不下、跑不完的時候，要怎麼處理？**
>
> Apache Spark 把資料和計算分散到很多台機器上一起跑。官方首頁的說法是，機器學習程式可以先在筆電上訓練，再用同一套程式擴展到數千台機器的容錯叢集。
>
> 它把批次處理、串流處理、SQL 查詢和機器學習放在同一個引擎裡，適合資料工程與大規模資料分析。

### 容易混淆

> **Spark vs MapReduce**
>
> 2012 年的 Spark 論文指出，MapReduce 這類框架要在兩次計算之間重複使用資料，得先把中間結果寫到分散式檔案系統這類外部儲存
> Spark 的 RDD 可以讓使用者把要重複使用的資料保留在叢集記憶體裡，下一步直接接著用
> 論文點出的主要差別是要重複使用的資料能不能留在記憶體，反覆讀同一份資料的機器學習演算法正是論文舉的例子。
>
> **Spark SQL vs Structured Streaming**
>
> Spark SQL 處理結構化資料與 SQL 查詢
> Structured Streaming 建立在 Spark SQL 引擎上，串流計算的寫法和批次計算一樣
> 差別在輸入是已經存在的一批資料，還是持續進來的資料流，Spark SQL 引擎會隨著新資料進來持續更新結果。
>

### 記住這句就好

> 資料太大就切開分給很多台機器平行算，要重複用的資料可以留在記憶體，遺失了照紀錄重算，這就是 Spark。

### 實際案例

> **大量資料前處理**
> 要用幾億筆使用者行為紀錄訓練推薦模型，可以先用 Spark SQL 在叢集上篩選、彙總與合併資料表，再把整理好的特徵交給模型訓練。
>
> **即時監控**
> 交易資料持續流入時，用 Structured Streaming 隨著新資料進來持續更新統計結果，發現異常的交易模式就發出警示。
>

### 演算法與應用

> 每個 Spark 應用程式都有一個執行主程式的驅動程式（driver program），由其中的 SparkContext 向叢集取得執行器（executor），執行器負責實際計算並保存資料。
> 資料切成許多分割區（partition），每個分割區由一個任務處理，所以能在多台機器上平行計算。
> filter（篩選）、map（對映）這類轉換不會馬上計算，Spark 先記下要做哪些轉換，等需要把結果回傳給驅動程式的動作出現才實際執行，這讓 Spark 執行得更有效率，例如只把彙總後的結果送回驅動程式。
> 某個分割區因機器故障遺失時，Spark 依照轉換紀錄重算那一塊，不用事先複製整份資料。官方建議新程式改用 Dataset 與 DataFrame 介面，底層同樣由這套分散式引擎執行。

### 情境判斷

> **Q1（直覺題）：資料量大到單機放不下，又要反覆讀同一份資料訓練模型，適合用什麼工具？**
>
> → 適合用 Spark 這類分散式運算引擎，把資料分散到叢集上，需要重複使用的資料可以保留在記憶體，不用每次重讀。
>
> **Q2（判斷題）：Spark 只能做批次處理，不能處理持續進來的資料？**
>
> → 不對。Spark 的 Structured Streaming 就是做增量計算與串流處理的元件。
>

---

來源：https://aiterms.tw/terms/apache-spark
快查頁：https://aiterms.tw/terms/apache-spark
出處：
- Spark Overview（Apache Spark 官方文件，查核時為 4.3.0 版）：https://spark.apache.org/docs/latest/
- Apache Spark 官方網站：https://spark.apache.org/
- Apache Spark History（Apache Spark 官方網站）：https://spark.apache.org/history.html
- Quick Start（Apache Spark 官方文件，查核時為 4.3.0 版）：https://spark.apache.org/docs/latest/quick-start.html
- SparkR（Apache Spark 官方文件，查核時為 4.3.0 版）：https://spark.apache.org/docs/latest/sparkr.html
- Structured Streaming Programming Guide（Apache Spark 官方文件，查核時為 4.3.0 版）：https://spark.apache.org/docs/latest/streaming/index.html
- Cluster Mode Overview（Apache Spark 官方文件，查核時為 4.3.0 版）：https://spark.apache.org/docs/latest/cluster-overview.html
- RDD Programming Guide（Apache Spark 官方文件，查核時為 4.3.0 版）：https://spark.apache.org/docs/latest/rdd-programming-guide.html
- Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing（Zaharia 等，NSDI 2012，論文頁）：https://www.usenix.org/conference/nsdi12/technical-sessions/presentation/zaharia
- Resilient Distributed Datasets（NSDI 2012 論文全文 PDF）：https://www.usenix.org/system/files/conference/nsdi12/nsdi12-final138.pdf
最後更新：2026/11/16