完整定義
隨機搜尋是一種簡單但有效的超參數最佳化技術。它在預先定義的超參數空間中隨機抽樣參數組合,然後使用驗證集評估每個組合的性能。與網格搜尋不同,隨機搜尋不會窮舉所有可能的組合,因此在大型超參數空間中更有效率。
白話說明
你在調模型參數時,會不會發現想試的組合太多,根本不可能一格一格掃完?
你可以把隨機搜尋想成在超參數空間裡先隨機抽一些點來試,再看哪個組合最好。
它的好處是簡單、便宜,尤其在參數很多的時候,常比硬掃整張表更有效率。
記住這句
參數太多時,隨機抽樣常比整格掃更划算。
比喻:隨機搜尋就像在一個大寶藏地圖上,隨意選幾個點去挖寶 -- 你不知道哪個點有寶藏,就隨機挑幾個地方試試看,希望能在有限時間內,找到一個表現不錯的寶藏(超參數組合)。
容易混淆
隨機搜尋 vs 網格搜尋
網格搜尋會把每個參數切成固定格子慢慢試。
隨機搜尋是先隨機抽樣幾組來評估。
最關鍵的區別:一個全格掃,一個抽點試。
隨機搜尋 vs 貝氏最佳化
隨機搜尋不會根據前一次結果調整下一次抽樣。
貝氏最佳化會利用過去結果,挑更有希望的組合。
最關鍵的區別:一個單純抽樣,一個會學習方向。
隨機搜尋 vs 暴力搜尋
暴力搜尋想把所有組合都試完。
隨機搜尋只取一部分代表性組合。
最關鍵的區別:一個想全試,一個先試最有機會的區域。
實際案例
深度學習調參
你要找學習率、批次大小和 dropout 的組合時,隨機搜尋能先快速試出大方向。
這比把每個值都硬排列組合更省時間。
樹模型最佳化
想調隨機森林或 XGBoost 的參數時,隨機搜尋常是第一輪很實用的做法。
它能先幫你縮小合理範圍。
演算法與應用
隨機搜尋先定義超參數範圍,再從每個範圍中隨機抽值,跑訓練並比驗證分數。
在高維空間裡,它常比網格搜尋更有效,因為不是每個參數都同樣重要。
若你後面還想更精準,可以再接貝氏最佳化或手動細調。
情境判斷
Q1(直覺題): 你有五個超參數要調,每個都有很多可能值,先用哪種方法比較實際?
先用隨機搜尋,因為它能更快覆蓋到不同區域。
Q2(判斷題): 如果你只想把所有組合都完整列出來,隨機搜尋還是最佳選擇嗎?
不一定,因為那種需求比較像網格搜尋或暴力搜尋,隨機搜尋比較適合先找好區域。
常見問題
不一定,但在參數很多的時候,隨機搜尋往往更有效率。
不一定,若每個參數都很敏感,或搜尋空間很小,網格搜尋也可能更直觀。
不是,它是有範圍、有評估標準的抽樣策略,不是毫無規劃地亂碰。
出現在這些考古題
官方公告試題的逐題解析裡,這 3 題把隨機搜尋列為延伸術語。
相關術語
來源
這個術語目前沒有標註外部來源。
其他格式:Markdown 版本