完整定義
資料剖析(Data Profiling)是檢查一份資料集、找出描述它的中繼資料(metadata)的一組活動與流程,也可以說是替資料做出小而有資訊量的摘要。Abedjan 等人的綜述把剖析工作分成三類:單一欄位的剖析,例如列數、空值數量、相異值數量、唯一性(相異值占列數的比例)、資料型態、值的長度、格式樣式與值的分布。多個欄位一起看的剖析,例如欄位之間的相關性、關聯規則、群集與離群值。還有欄位之間的相依關係,例如哪幾個欄位組合起來每一列都不重複(其中最小的組合可以當候選鍵)、函數相依,以及常用來找外來鍵的包含相依。拿到一份不熟悉的新資料時,先做資料剖析可以知道資料長什麼樣子、品質如何,再決定怎麼清理、整合與使用。剖析找到的規律只代表手上這份資料,確認合理後可以轉成規則或限制條件,之後用來檢查新進來的資料、監控資料品質。這篇綜述的作者也提出一種和資料探勘的區分:資料剖析收集的是支援資料管理的技術性中繼資料,資料探勘要找的是不明顯的規律,用來提供商業上的新洞見,但他們也指出兩者沒有公認的明確界線。
白話說明
拿到一份沒看過的資料,怎麼快速知道它長什麼樣子、能不能用?
這就是資料剖析:檢查資料集,整理出描述它的中繼資料,例如每個欄位的型態、空值、相異值與值的分布,以及欄位之間的相依關係。
剖析的結果可以用來決定怎麼清理、整合資料,找到的規律確認合理後也能轉成規則,之後拿來檢查新資料、監控資料品質。
記住這句
拿到新資料先剖析:每一欄是什麼型態、空了多少、有幾種值、欄和欄怎麼相依,看清楚再清理、整合和建模。
比喻:資料剖析像搬進新房子前先做屋況檢查:每個房間多大、哪裡漏水、哪些管線連在一起,先列出清單,再決定要修哪裡、怎麼使用
容易混淆
資料剖析 vs 資料探勘
資料剖析收集的是技術性的中繼資料,例如型態、空值、相異值與欄位相依,目的是支援資料管理
資料探勘要找的是不明顯的規律,目的是提供商業上的新洞見
這是 Abedjan 等人提出的一種區分,他們也指出兩者沒有公認的明確界線,判斷時可以看目的:整理資料本身的樣貌,還是從資料找出結論。
資料剖析 vs 資料驗證
資料剖析是先看清楚資料長什麼樣子,不需要事先定好規則
資料驗證是拿事先定好的規則或預期去檢查資料
剖析的發現可以轉成驗證規則,例如只有不重複值的欄位可以列為候選鍵,不過剖析結果只代表當下這份資料,確認合理後才定成規則,再用來檢查新資料。
實際案例
接手一份會員資料表
剖析時可能發現 email 欄位有不少空值、生日欄位大量集中在同一個預設日期、會員編號每一列都不重複(可以列為候選鍵),這些結果會決定哪些欄位要補值、哪些要清理,哪些先不拿來分析。
Power Query 的資料剖析工具
Power Query 編輯器有三種檢視:欄位品質(Column quality)把值分成有效、錯誤、空白等類別並顯示各占多少比例,欄位分布(Column distribution)顯示每一欄各個值的頻率與分布,並標出相異值與唯一值的數量,欄位概況(Column profile)提供欄位統計與值的分布圖。預設只用前 1,000 列計算,要看全部資料得切換成以整個資料集剖析。
雲端資料平台的剖析掃描
依 Google Cloud 官方說明,Knowledge Catalog(原 Dataplex Universal Catalog)的資料剖析掃描會替 BigQuery 等資料表計算欄位層級的統計:一般欄位有空值比例、近似的相異值比例與最多 10 個常見值,數值欄位另外有平均、標準差、最小值、近似的四分位數與最大值,巢狀、陣列與 JSON 這類欄位只算空值比例。掃描可以排程或隨時執行,標準模式可以指定抽樣比例,結果也能用來產生資料品質規則的建議。
演算法與應用
先做單一欄位的剖析:列數、值的長度與空值數量掃過一次就能算出來,值的分布通常也只要掃一次,但四分位數要先排序,相異值數量則要用雜湊或排序來算。
再看多個欄位一起的樣子:相關性、關聯規則、群集與離群值。
最後找欄位之間的相依關係:哪些欄位組合每一列都不重複(其中最小的組合是候選鍵)、函數相依、包含相依(找外來鍵)。可能的欄位組合會隨欄位數呈指數成長,找出全部相依關係在最壞情況下要花指數時間,也有研究提出用抽樣或只求近似結果的方法。
剖析的發現只代表手上這份資料,確認合理後可以轉成規則或限制條件,之後用來檢查新資料、衡量與監控資料品質,也能協助資料清理、資料整合與查詢最佳化。
情境判斷
Q1(直覺題):接手一份從沒看過的客戶資料,第一步該做什麼?
先做資料剖析,看每個欄位的型態、空值、相異值與值的分布,找出可能的候選鍵和欄位之間的相依,知道資料長什麼樣子、品質如何,再決定怎麼清理與分析。
Q2(判斷題):Power Query 顯示某一欄沒有空白值,就代表整份資料這一欄都沒有空白值嗎?
不一定。Power Query 預設只用前 1,000 列做剖析,資料超過 1,000 列時,要切換成以整個資料集剖析才能下結論。
常見問題
指檢查一份資料集、整理出描述它的中繼資料的一組活動與流程,例如每個欄位的型態、空值、相異值、值的分布,以及欄位之間的相依關係,用來了解資料的結構、內容與品質。
Abedjan 等人的綜述把它分成三類:單一欄位(列數、空值數量、相異值數量、唯一性、資料型態、格式樣式、值的分布)、多個欄位(相關性、關聯規則、群集與離群值),以及欄位之間的相依(不重複的欄位組合、函數相依、包含相依)。
Abedjan 等人的綜述提出的區分是:資料剖析收集技術性的中繼資料,用來支援資料管理,例如決定怎麼清理或整合資料,資料探勘要找的是不明顯的規律,用來提供商業上的新洞見。他們也指出兩者沒有公認的明確界線。
剖析是在不預設規則的情況下看清楚資料長什麼樣子,驗證是拿事先定好的規則檢查資料。剖析的發現可以轉成驗證規則,例如只有不重複值的欄位可以列為候選鍵,但結果只代表當下這份資料,確認合理後才定成規則。Google Cloud 的資料剖析掃描也能依剖析結果產生資料品質規則的建議。
不一定,但要知道工具看了多少。Power Query 預設只用前 1,000 列剖析,Google Cloud 的資料剖析掃描在標準模式可以指定抽樣比例,研究上也有用抽樣或只求近似結果的方法。只看部分資料時,結論要保留空間。
相關術語
來源
參考來源:dspace.mit.edu
其他格式:Markdown 版本