完整定義
特徵選擇是機器學習和統計建模中的一個重要步驟,它涉及從原始特徵集合中選擇一個最相關和資訊量最大的特徵子集。其目標是簡化模型、提高預測準確性、減少過擬合、降低計算成本,並提升模型的可解釋性。
白話說明
你有沒有一堆欄位在手上,卻只想留下真正有用的那幾個?
你可以把特徵選擇想成篩掉雜訊,留下最有價值的資料欄位,讓模型更專心看重點。
它重要,是因為欄位太多不一定更好,很多時候只會讓模型更慢、更亂,甚至更容易過擬合。
記住這句
不一定要更多特徵,常常是更少但更準。
比喻:想像你在準備考試,手上有厚厚一疊參考書。特徵選擇就像是幫你從中挑出「最有可能考」的重點章節和題目 -- 這樣你就能更有效率地複習,不會被不重要的資訊搞混,考試成績還可能更好。
容易混淆
特徵選擇法 vs 特徵工程
特徵工程是把新特徵做出來。
特徵選擇法是從現有特徵裡挑出最值得保留的。
特徵選擇法 vs 降維處理
特徵選擇留下的是原本欄位。
降維處理會把欄位轉成新的低維表示。
實際案例
醫療預測
病歷欄位很多,但真正和疾病相關的可能只有幾個,選對欄位能讓模型更容易解釋。
廣告點擊
很多行為欄位彼此重複,先選出最有訊號的特徵,訓練通常更快也更穩。
演算法與應用
常見方法有過濾式、包裹式和嵌入式,分別對應快速篩選、模型迭代評估與內建選擇。
線性模型常搭配 L1 正則化,樹模型也常用特徵重要度做篩選。
iPAS 考題
Q:特徵選擇法的目的為何?
保留最有用的特徵,降低模型複雜度,並減少噪聲和過擬合風險。
Q:特徵選擇法和降維處理差在哪裡?
特徵選擇留下原始欄位,降維處理會產生新的低維特徵表示。
情境判斷
Q1:如果特徵很多,但模型表現變差,先考慮特徵選擇合理嗎?
合理,因為多餘或重複的特徵可能讓模型更難學。
Q2:把所有特徵都留著,一定比選過更好嗎?
不一定,若訊號很雜,選過的特徵反而常更穩、更容易解釋。
常見問題
不一定,重點是保留足夠資訊,不是無腦砍欄位。
會有這個風險,所以要配合驗證集和領域知識。
最好要,不然你只是在猜哪些欄位有用。
特徵選擇比較直觀,因為留下來的還是原始欄位。
出現在這些考古題
官方公告試題的逐題解析裡,有 12 題把特徵選擇法列為延伸術語,這裡列出 5 題。
相關術語
來源
這個術語目前沒有標註外部來源。
其他格式:Markdown 版本