iPAS 備考專區 登入

iPAS AI 應用規劃師 中級 科目一 AI 技術應用與規劃・114 年第二次・L21・第 45 題

PCA 降維後接 SVM,對這個作法哪個描述最合理?

原題

進行影像分類任務時,研究團隊嘗試利用主成分分析(Principal Component Analysis,PCA)將輸入特徵從 1024 維降至 100 維,並將降維後的資料輸入支持向量機(Support Vector Machine,SVM)模型進行訓練。關於此作法,下列哪一項描述最為合理?

白話

研究團隊做影像分類,把每張影像的特徵從 1024 維壓縮到 100 維(用 PCA,主成分分析,Principal Component Analysis),然後把壓縮後的資料送進 SVM(支持向量機,Support Vector Machine)訓練。

問你:對這個「PCA 降維後接 SVM」的作法,哪一個描述最合理?

一句話總結

PCA 降維的核心效益是兩件事同時發生:維度從 1024 降到 100,計算量大幅下降(訓練更快),同時去除冗餘雜訊(降低過擬合風險)。這是選項 D 的描述,是對 PCA 最合理的概括。

情境

先感受問題:1024 維的資料餵進 SVM,會發生什麼事

假設「成大醫學影像實驗室」在做皮膚病變分類,每張皮膚影像壓平成一個 1024 維的特徵向量(假設 32×32 像素的灰階影像)。

直接把 1024 維的資料丟進 SVM 有兩個痛點:

痛點一:速度慢。SVM 在高維空間計算核函數(Kernel Function)的代價很高,1024 維的 10,000 筆資料,訓練可能要幾個小時。

痛點二:維度詛咒(Curse of Dimensionality)。維度越高,要有足夠覆蓋的資料量呈指數爆炸。資料不夠多時,高維空間裡的資料點稀疏,SVM 容易找到「完美切割訓練集但泛化差」的超平面,這就是過擬合。

這時候研究者想到:先用 PCA 把 1024 維壓成 100 維,再接 SVM。這樣有什麼效果?

PCA 找的是資料中變異量最大的方向(主成分),這些方向通常包含了資料的主要結構和信號,而把它們截留到 100 個維度,其實去掉的是那些變異量很小的維度,那些往往是雜訊。

舊方法

為什麼高維資料直接接 SVM 有問題

不做 PCA、直接用 1024 維資料訓練 SVM 的五個問題:

  1. 計算複雜度高:SVM 的時間複雜度大約是 O(n² × d),n 是樣本數,d 是維度。d 從 100 變 1024,計算量暴增 10 倍以上,訓練時間從幾分鐘變幾小時。
  2. 維度詛咒:高維空間裡,每兩個資料點之間的距離都差不多大(高維球的體積集中在殼),SVM 依賴距離和超平面的幾何概念在高維下效果打折。
  3. 冗餘特徵:1024 維中有很多特徵是高度相關的(例如相鄰像素的值往往差不多),這些冗餘資訊不提供新信號,但增加計算負擔。
  4. 雜訊影響大:高維資料中不重要的維度可能是雜訊,SVM 可能過度擬合這些雜訊,泛化效果差。
  5. 視覺化和診斷困難:1024 維的分類結果難以檢查和調試,PCA 降到 2-3 維後可以畫出來看資料結構,方便診斷。

新方法

PCA 降到 100 維,幫 SVM 做了什麼

回到「成大醫學影像實驗室」。PCA 降到 100 維之後,對 SVM 的效益是這樣的:

效益一:訓練速度加快。維度從 1024 降到 100,縮小了約 10 倍,SVM 的計算代價大幅降低。實務上有時候從幾小時降到幾分鐘。

效益二:過擬合風險降低。PCA 保留的是變異量最大的主成分,去掉的是變異量小的維度(雜訊)。模型要記憶的「虛假特徵」變少,在測試集上的泛化效果通常更好。

1024 維直接訓練 SVM:訓練準確率 99%,測試準確率 82%(過擬合)

PCA 降到 100 維後:訓練準確率 93%,測試準確率 91%(泛化較好)

注意:PCA 降維並不保證「一定提升準確率」,因為 100 個主成分不一定包含了 SVM 最需要的判別信號。有時候 PCA 去掉的低變異量方向恰好是對分類最重要的方向,這種情況 PCA 反而可能讓準確率下降。

所以最合理的描述是:降維後「訓練更快」且「過擬合風險降低」,而不是「一定提升準確率」。

這就是選項 D 講的:降維後可降低訓練時間並減少過擬合(Overfitting)風險。

錯選項

為什麼其他選項是錯的

APCA 保留的主成分必然能提升 SVM 的分類準確率

字面在說什麼

PCA 選出最重要的成分,用這些成分訓練 SVM,準確率一定比原始資料更高。

為什麼不對

「必然」這個詞讓選項 A 錯了。PCA 選的是變異量最大的方向,不是「對分類最有用」的方向。這兩件事不一樣。有時候變異量小的維度(被 PCA 去掉的),恰好包含了關鍵的分類信號。所以 PCA 降維有可能讓準確率上升,也可能讓準確率下降,取決於資料的特性。「必然提升」是錯的。

誰會選錯

認為「PCA 保留最重要的成分,去掉噪音,所以一定更好」的考生。PCA 保留「變異量最大」的成分,不等於保留「對下游任務最重要」的成分。這個細微差異很關鍵。

B使用原始高維資料通常更能保留資訊,因此 PCA 沒有實際意義

字面在說什麼

原始 1024 維的資料資訊最完整,降維一定會損失資訊,所以 PCA 沒用。

為什麼不對

高維資料確實資訊更完整,但不代表更多資訊對 SVM 更有益。維度詛咒(Curse of Dimensionality)讓高維資料反而難以學習。PCA 去掉的是低變異量的維度,這些維度通常是雜訊,去掉它們有助於降低過擬合。PCA 的實際意義非常大:節省訓練時間、減少過擬合、方便視覺化診斷。

誰會選錯

有「越多資訊越好」直覺的考生。在機器學習裡,「更多特徵」不等於「更好的泛化」,特別是特徵中有冗餘和雜訊時,降維反而有益。選項 B 忽略了維度詛咒和過擬合的問題。

CPCA 可讓 SVM 自動適用於非線性(Nonlinear)資料集

字面在說什麼

PCA 降維之後,原本線性分類器不能處理的非線性問題,SVM 就可以解決了。

為什麼不對

PCA 是線性變換,它只做旋轉和投影,不改變資料的線性/非線性特性。如果資料在原始空間是非線性的,PCA 之後仍然是非線性的。讓 SVM 能處理非線性資料的是 SVM 自身的核函數(Kernel Trick),例如 RBF 核、多項式核,和 PCA 沒有關係。

誰會選錯

把「PCA 做了複雜的變換」和「變換後資料性質改變了」混為一談的考生。PCA 的變換是線性正交投影,它改變的是座標系,不改變資料點之間的線性/非線性關係。非線性能力來自 SVM 的核函數,不來自 PCA。

變形題

同個考點下次怎麼變形

延伸

想再往下看,這 5 個

答案、題目或解析有問題?回報這題

出處:iPAS 經濟部產業人才能力鑑定 ・ 114 年第二次 iPAS AI 應用規劃師 中級 科目一 第 45 題

看官方原文 PDF

原題 © 經濟部產業發展署,AITerms.tw 僅作教學解析使用,本站解析以 CC BY-NC-SA 4.0 授權。