異質數據 是什麼？
Heterogeneous Data：異質數據 的完整解釋
由多種不同類型、來源或格式的資料組成，具有高度多樣性和複雜性的資料集合。
異質數據（Heterogeneous Data）在現代機器學習應用中無處不在，從電商推薦系統（用戶統計特徵 + 商品描述文本 + 點擊影像）到醫療診斷（患者病歷表格 + 影像掃描 + 遺傳序列）再到自動駕駛（雷達點雲 + 相機影像 + GPS 位置），處理異質數據的能力已成為現代 AI 系統的核心競爭力。
異質數據的多維特性
異質性可從多個維度理解：
數據格式異質性：數據以不同的技術格式存在。結構化數據（表格、關聯資料庫）有明確的欄位定義；半結構化數據（JSON、XML）有靈活的結構；非結構化數據（文本、影像、音訊、影片）缺乏預定義的欄位。同一機器學習問題中常含多種格式混合。
語義異質性：同一概念在不同資料源中有不同的表示。例如，客戶年齡在系統 A 中可能是「1995-03-15」的出生日期，在系統 B 中是「28」的整數年齡，在系統 C 中是「28-35」的年齡段類別，三種表示的底層含義相同但語義結構迥異。
來源異質性：數據來自不同的機構、平台或感測器，各自具有獨立的品質標準、時間戳記、更新頻率和缺失模式。例如，電子商務數據可能來自官網、行動應用、第三方平台，各來源的數據記錄方式與可靠性差異大。
特徵類型異質性：特徵本身具有多樣性，如連續特徵（價格、距離）、分類特徵（顏色、品類）、序序特徵（等級 1-5）、文本特徵（商品評論）、影像特徵（商品照片），處理這些特徵需要不同的編碼與標準化策略。
空間-時間異質性：不同地域的同一概念有不同的統計規律（如不同城市的房價模式），同一概念在不同時期的分布也在變化（時間漂移），統稱為非平穩異質性。
異質數據處理的核心挑戰
特徵融合（Feature Fusion）：不同格式的特徵無法直接組合，需要先進行統一的數值表示。非結構化數據（文本、影像）需特徵提取（如 Embedding、CNN）轉化為向量；不同量綱的數值特徵需標準化；類別特徵需編碼（One-hot、序序編碼）。
缺失值與雜訊的多樣性：不同數據源的缺失機制不同，有些隨機缺失，有些系統性缺失；雜訊的特性也因來源異異，需要分源處理與驗證。
計算效率：異質數據通常規模大，特徵維度高，多模態融合的計算成本高，需要優化的特徵選擇與縮減策略。
資訊重要性的不對稱：不同來源的數據對下游任務的預測價值差異大，簡單的特徵加權或權重學習可能不夠，需要更複雜的融合策略判斷哪個模態在何情況下更重要。
異質數據處理的典型方法
特徵預處理與編碼
- 連續特徵：標準化（Z-score）或正規化（Min-Max）
- 類別特徵：One-hot 編碼或 Target 編碼
- 文本：TF-IDF、詞向量、Transformer Embedding
- 影像：預訓練 CNN 特徵提取、視覺 Transformer embedding
- 缺失值：插補（均值、中位數、KNN、迭代插補）或建立缺失指示符
多模態表示學習
- 聯合 Embedding：在共同的低維空間中嵌入異質特徵
- 深度神經網路：針對不同模態的子網路（如文本 LSTM + 影像 CNN）後接融合層
- 自監督預訓練：在未標注異質數據上進行對比學習，學習跨模態的統一表示
特徵選擇與約簡
- 基於統計量的篩選：去除與目標低相關的特徵
- 樹型模型的特徵重要性：Random Forest、XGBoost 可直接處理混合特徵
- 特徵互動：主動學習異質特徵之間的高階互動（如特徵交叉）
權重融合與注意機制
- 簡單加權：對不同模態的預測加權結合
- 自適應權重學習：模型在訓練中學習各模態的最優權重
- 注意機制（Attention）：基於上下文動態調整不同特徵的重要性
多源資料的分布適應
- Domain Adaptation：針對不同來源的分布差異進行調適
- Federated Learning：在保留數據隱私的前提下聯合訓練多源數據
異質數據在實務中的應用
- 電商推薦：使用者歷史行為（序列）、商品屬性（分類 + 數值）、商品文本描述、商品影像、評論文本，多模態融合提升推薦精度。
- 醫療診斷：患者基本信息、檢驗結果、醫學影像、臨床記錄文本，異質融合支持精準診斷。
- 金融風控：用戶統計特徵、交易序列、社交網路、宏觀經濟指標，異質融合提升詐騙識別能力。
- 自動駕駛：多種感測器（相機、雷達、LiDAR）的實時融合，是自動駕駛感知層的核心。