完整定義
降維處理是一種機器學習技術,用於減少資料集中變數(或特徵)的數量。它透過識別並移除冗餘或不相關的特徵,同時保留資料集中的重要資訊。降維可以簡化模型、加速運算、改善模型效能,並避免維度災難,尤其是在處理高維度資料時。
白話說明
你面對很多特徵時,怎麼把它們壓縮成好懂的幾個方向?
你可以把 降維處理 想成把很多特徵壓成少數重點軸線的方法。
它其實就是在少一點維度的前提下,盡量保住資料裡最重要的資訊。
降維處理旨在減少資料集的特徵數量,同時保留重要資訊,以簡化模型、加速運算並避免維度災難。資料太高維時,這常常能讓分析更快,也更容易看出結構。
記住這句
少一點維度,多一點可看性和效率
比喻:降維處理就像把一本很厚的書「濃縮」成精華摘要 -- 它會找出書中最關鍵、最重要的訊息,把那些重複或不那麼重要的細節拿掉,讓你看完摘要就能掌握整本書的核心內容,又不會被太多資訊淹沒。
容易混淆
vs 特徵選擇 (Feature Selection)
特徵選擇像直接「刪除」不重要的書頁,可能丟失一些資訊;降維處理則像把多個書頁的內容「融合」成新的精華句,在減少數量的同時,盡量保留了原始資訊的精髓。
實際案例
案例一:降維處理 看客戶資料
幾十個欄位一起看很亂,把它們壓成少數主方向後,常更容易看出客群結構。
案例二:降維處理 做前處理
在高維資料裡先降維,可以讓後面的分類或視覺化更快,也更不容易被雜訊干擾。
深入了解
降維可以是特徵選擇,也可以是特徵投影,兩者目的都在於減少複雜度
如果想保留可解釋性,選特徵;如果想抓主要結構,投影常更強
高維資料若不先縮,距離和相似度有時會變得很不可靠
情境判斷
Q1(直覺題): 資料有很多特徵時,先把它們壓成少數方向有沒有幫助?
有,因為你會更容易看出結構,也比較省算力。
Q2(判斷題): 降維一定會讓資訊變少嗎?
看情況,因為少掉的是次要維度,不一定是關鍵資訊;若方法選得好,反而能保留主幹、去掉雜訊。
常見問題
降維處理的優點包括:簡化模型、加速運算、改善模型效能、避免維度災難、降低儲存空間需求、提高資料視覺化的效果。透過減少特徵數量,模型訓練速度更快,且更不容易過擬合。
PCA是一種無監督學習方法,旨在找到資料中方差最大的方向。LDA是一種監督學習方法,旨在找到能夠最大化類別間距離,同時最小化類別內距離的方向。PCA主要用於降維,LDA主要用於分類。
選擇合適的降維方法需要考慮多個因素,包括資料的性質(線性或非線性)、任務的類型(分類或迴歸)、模型效能的要求、可解釋性的要求等。沒有一種降維方法適用於所有情況,需要根據具體情況進行選擇。
UMAP 是 2018 年提出的非線性降維方法,常用來把單細胞定序、嵌入向量等高維資料畫成 2 維或 3 維圖觀察群聚。作者表示它的視覺化品質和 t-SNE 相當,但能保留較多全域結構、執行速度較快,而且不限輸出維度,也能當一般的降維前處理。兩者的圖都要注意,群與群之間的距離與大小不一定有明確意義。
出現在這些考古題
官方公告試題的逐題解析裡,有 13 題把降維處理列為延伸術語,這裡列出 5 題。
相關術語
來源
參考來源:en.wikipedia.org
其他格式:Markdown 版本