完整定義
Apache Spark 是處理大規模資料的分散式運算引擎,官方文件稱它為大規模資料處理的統一分析引擎,可以在單機或叢集上執行資料工程、資料科學與機器學習工作。它 2009 年從加州大學柏克萊分校 AMPLab 的研究計畫開始,2010 年初開源,2013 年移到 Apache 軟體基金會。Spark 提供 Python、SQL、Scala、Java 等語言的介面(R 介面 SparkR 自 4.0.0 版起標示為不建議使用,官方表示未來版本會移除),內建處理結構化資料的 Spark SQL、讓 pandas 寫法也能用在 Spark 上的 pandas API on Spark、機器學習函式庫 MLlib、圖運算的 GraphX,以及建立在 Spark SQL 引擎上、做增量計算與串流處理的 Structured Streaming。Spark 最早的核心抽象是彈性分散式資料集(RDD):資料切成許多分割區分散在叢集上平行處理,使用者可以要求把要重複使用的資料保留在記憶體裡,Spark 也會記錄每份資料是經過哪些轉換產生的,某個分割區遺失時只要依紀錄重算那一塊。Spark 2.0 之後,官方建議改用效能更好的 Dataset 與 DataFrame 介面,RDD 仍然支援,屬於較舊的底層介面。2012 年的原始論文指出,當時多數框架要在兩次計算之間重複使用資料,只能先寫到分散式檔案系統這類外部儲存,資料複製、磁碟讀寫與序列化的負擔很大,把資料留在記憶體可以讓反覆運算與互動式資料探勘快上一個數量級。
白話說明
資料大到一台電腦裝不下、跑不完的時候,要怎麼處理?
Apache Spark 把資料和計算分散到很多台機器上一起跑。官方首頁的說法是,機器學習程式可以先在筆電上訓練,再用同一套程式擴展到數千台機器的容錯叢集。
它把批次處理、串流處理、SQL 查詢和機器學習放在同一個引擎裡,適合資料工程與大規模資料分析。
記住這句
資料太大就切開分給很多台機器平行算,要重複用的資料可以留在記憶體,遺失了照紀錄重算,這就是 Spark。
比喻:Spark 像把一大疊文件分給很多位同事同時整理,常要翻的資料可以攤在桌上直接用,不必每做一步就收回檔案櫃,有人臨時離開,就照工作紀錄把他那一份重做
容易混淆
Spark vs MapReduce
2012 年的 Spark 論文指出,MapReduce 這類框架要在兩次計算之間重複使用資料,得先把中間結果寫到分散式檔案系統這類外部儲存
Spark 的 RDD 可以讓使用者把要重複使用的資料保留在叢集記憶體裡,下一步直接接著用
論文點出的主要差別是要重複使用的資料能不能留在記憶體,反覆讀同一份資料的機器學習演算法正是論文舉的例子。
Spark SQL vs Structured Streaming
Spark SQL 處理結構化資料與 SQL 查詢
Structured Streaming 建立在 Spark SQL 引擎上,串流計算的寫法和批次計算一樣
差別在輸入是已經存在的一批資料,還是持續進來的資料流,Spark SQL 引擎會隨著新資料進來持續更新結果。
實際案例
大量資料前處理
要用幾億筆使用者行為紀錄訓練推薦模型,可以先用 Spark SQL 在叢集上篩選、彙總與合併資料表,再把整理好的特徵交給模型訓練。
即時監控
交易資料持續流入時,用 Structured Streaming 隨著新資料進來持續更新統計結果,發現異常的交易模式就發出警示。
演算法與應用
每個 Spark 應用程式都有一個執行主程式的驅動程式(driver program),由其中的 SparkContext 向叢集取得執行器(executor),執行器負責實際計算並保存資料。
資料切成許多分割區(partition),每個分割區由一個任務處理,所以能在多台機器上平行計算。
filter(篩選)、map(對映)這類轉換不會馬上計算,Spark 先記下要做哪些轉換,等需要把結果回傳給驅動程式的動作出現才實際執行,這讓 Spark 執行得更有效率,例如只把彙總後的結果送回驅動程式。
某個分割區因機器故障遺失時,Spark 依照轉換紀錄重算那一塊,不用事先複製整份資料。官方建議新程式改用 Dataset 與 DataFrame 介面,底層同樣由這套分散式引擎執行。
情境判斷
Q1(直覺題):資料量大到單機放不下,又要反覆讀同一份資料訓練模型,適合用什麼工具?
適合用 Spark 這類分散式運算引擎,把資料分散到叢集上,需要重複使用的資料可以保留在記憶體,不用每次重讀。
Q2(判斷題):Spark 只能做批次處理,不能處理持續進來的資料?
不對。Spark 的 Structured Streaming 就是做增量計算與串流處理的元件。
常見問題
Apache Spark 是大規模資料處理的分散式運算引擎,可以在單機或叢集上執行資料工程、資料科學與機器學習工作,批次與串流處理都用同一個引擎。它 2009 年從加州大學柏克萊分校 AMPLab 的研究計畫開始,2013 年移到 Apache 軟體基金會。
官方首頁列出 Python、SQL、Scala、Java 與 R,Python 可以用 pip 安裝 PySpark。R 介面(SparkR)自 Spark 4.0.0 起標示為不建議使用,官方表示未來版本會移除。
2012 年的 Spark 論文指出,MapReduce 這類框架要在兩次計算之間重複使用資料,得先寫到分散式檔案系統這類外部儲存。Spark 的 RDD 可以把要重複使用的資料保留在叢集記憶體裡,論文報告反覆運算與互動式分析因此可以快上一個數量級,這是相對於當時的框架。
官方文件列出 Spark SQL(結構化資料與 SQL)、pandas API on Spark、MLlib(機器學習)、GraphX(圖運算)與 Structured Streaming(建立在 Spark SQL 引擎上的增量計算與串流處理)。
不用。官方首頁說明 Spark 可以在單機或叢集上執行,官方文件也說明可以用 local 模式在一台電腦上跑,並建議先用 local 測試,資料變大時再把同一套程式放到叢集上。
相關術語
來源
參考來源:spark.apache.org
其他格式:Markdown 版本