AITerms 登入
資料處理資料品質資料清理

資料剖析(Data Profiling)是什麼?

資料剖析是檢查一份資料集,整理出欄位型態、空值、相異值、值的分布與欄位間相依關係等中繼資料,作為清理與使用資料的依據。

同主題的術語資料處理

完整定義

資料剖析(Data Profiling)是檢查一份資料集、找出描述它的中繼資料(metadata)的一組活動與流程,也可以說是替資料做出小而有資訊量的摘要。Abedjan 等人的綜述把剖析工作分成三類:單一欄位的剖析,例如列數、空值數量、相異值數量、唯一性(相異值占列數的比例)、資料型態、值的長度、格式樣式與值的分布。多個欄位一起看的剖析,例如欄位之間的相關性、關聯規則、群集與離群值。還有欄位之間的相依關係,例如哪幾個欄位組合起來每一列都不重複(其中最小的組合可以當候選鍵)、函數相依,以及常用來找外來鍵的包含相依。拿到一份不熟悉的新資料時,先做資料剖析可以知道資料長什麼樣子、品質如何,再決定怎麼清理、整合與使用。剖析找到的規律只代表手上這份資料,確認合理後可以轉成規則或限制條件,之後用來檢查新進來的資料、監控資料品質。這篇綜述的作者也提出一種和資料探勘的區分:資料剖析收集的是支援資料管理的技術性中繼資料,資料探勘要找的是不明顯的規律,用來提供商業上的新洞見,但他們也指出兩者沒有公認的明確界線。

白話說明

拿到一份沒看過的資料,怎麼快速知道它長什麼樣子、能不能用?

這就是資料剖析:檢查資料集,整理出描述它的中繼資料,例如每個欄位的型態、空值、相異值與值的分布,以及欄位之間的相依關係。

剖析的結果可以用來決定怎麼清理、整合資料,找到的規律確認合理後也能轉成規則,之後拿來檢查新資料、監控資料品質。

記住這句

拿到新資料先剖析:每一欄是什麼型態、空了多少、有幾種值、欄和欄怎麼相依,看清楚再清理、整合和建模。

比喻:資料剖析像搬進新房子前先做屋況檢查:每個房間多大、哪裡漏水、哪些管線連在一起,先列出清單,再決定要修哪裡、怎麼使用

容易混淆

資料剖析 vs 資料探勘

資料剖析收集的是技術性的中繼資料,例如型態、空值、相異值與欄位相依,目的是支援資料管理

資料探勘要找的是不明顯的規律,目的是提供商業上的新洞見

這是 Abedjan 等人提出的一種區分,他們也指出兩者沒有公認的明確界線,判斷時可以看目的:整理資料本身的樣貌,還是從資料找出結論。

資料剖析 vs 資料驗證

資料剖析是先看清楚資料長什麼樣子,不需要事先定好規則

資料驗證是拿事先定好的規則或預期去檢查資料

剖析的發現可以轉成驗證規則,例如只有不重複值的欄位可以列為候選鍵,不過剖析結果只代表當下這份資料,確認合理後才定成規則,再用來檢查新資料。

實際案例

接手一份會員資料表

剖析時可能發現 email 欄位有不少空值、生日欄位大量集中在同一個預設日期、會員編號每一列都不重複(可以列為候選鍵),這些結果會決定哪些欄位要補值、哪些要清理,哪些先不拿來分析。

Power Query 的資料剖析工具

Power Query 編輯器有三種檢視:欄位品質(Column quality)把值分成有效、錯誤、空白等類別並顯示各占多少比例,欄位分布(Column distribution)顯示每一欄各個值的頻率與分布,並標出相異值與唯一值的數量,欄位概況(Column profile)提供欄位統計與值的分布圖。預設只用前 1,000 列計算,要看全部資料得切換成以整個資料集剖析。

雲端資料平台的剖析掃描

依 Google Cloud 官方說明,Knowledge Catalog(原 Dataplex Universal Catalog)的資料剖析掃描會替 BigQuery 等資料表計算欄位層級的統計:一般欄位有空值比例、近似的相異值比例與最多 10 個常見值,數值欄位另外有平均、標準差、最小值、近似的四分位數與最大值,巢狀、陣列與 JSON 這類欄位只算空值比例。掃描可以排程或隨時執行,標準模式可以指定抽樣比例,結果也能用來產生資料品質規則的建議。

演算法與應用

先做單一欄位的剖析:列數、值的長度與空值數量掃過一次就能算出來,值的分布通常也只要掃一次,但四分位數要先排序,相異值數量則要用雜湊或排序來算。

再看多個欄位一起的樣子:相關性、關聯規則、群集與離群值。

最後找欄位之間的相依關係:哪些欄位組合每一列都不重複(其中最小的組合是候選鍵)、函數相依、包含相依(找外來鍵)。可能的欄位組合會隨欄位數呈指數成長,找出全部相依關係在最壞情況下要花指數時間,也有研究提出用抽樣或只求近似結果的方法。

剖析的發現只代表手上這份資料,確認合理後可以轉成規則或限制條件,之後用來檢查新資料、衡量與監控資料品質,也能協助資料清理、資料整合與查詢最佳化。

情境判斷

Q1(直覺題):接手一份從沒看過的客戶資料,第一步該做什麼?

先做資料剖析,看每個欄位的型態、空值、相異值與值的分布,找出可能的候選鍵和欄位之間的相依,知道資料長什麼樣子、品質如何,再決定怎麼清理與分析。

Q2(判斷題):Power Query 顯示某一欄沒有空白值,就代表整份資料這一欄都沒有空白值嗎?

不一定。Power Query 預設只用前 1,000 列做剖析,資料超過 1,000 列時,要切換成以整個資料集剖析才能下結論。

常見問題

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

參考來源:dspace.mit.edu

其他格式:Markdown 版本