完整定義
在強化學習中,探索與利用 (Exploration vs Exploitation) 是一種基本的權衡。探索是指智能體嘗試新的、未知的動作,以發現潛在的更好策略。利用是指智能體使用當前已知的最佳策略,以獲得最大的累積獎勵。智能體需要在探索和利用之間找到平衡,才能在長期內獲得最佳性能。
白話說明
你有沒有在餐廳點餐時,明明知道常吃那家最穩,卻又想試試新店?
你可以把它想成,AI 一邊要用已知最好策略拿分,一邊又要試新選項,免得錯過更好的答案。
這個拉扯在強化學習特別重要,因為只會守著現有答案,常常會卡在次佳策略。
記住這句
要賺現在,也要找未來。
比喻:探索與利用就像你去一家新餐廳點餐 -- 你可以點你最喜歡的菜(利用),確保不會踩雷;也可以嘗試一道沒吃過的新菜(探索),也許會發現新大陸,但也可能踩雷。
容易混淆
探索 vs 利用
探索是在試新動作,找還沒發現的好選項。
利用是在用已知最好策略,先把眼前獎勵拿滿。
最關鍵的區別:要不要冒險試新東西。
探索 vs 貪婪策略
貪婪策略只做目前看起來最好的事。
探索與利用是在保留當前收益的同時,還要留一部分資源試新路。
最關鍵的區別:有沒有探索預算。
探索 vs 試錯成本
試錯成本越高,探索就越保守。
利用可以穩定拿分,但探索才有機會找到更高上限。
最關鍵的區別:短期損失和長期發現的平衡。
實際案例
推薦系統挑內容
系統要決定要推熱門內容,還是推少數用戶可能更喜歡的新內容。
Before:只推熱門。After:一部分流量拿來試新內容,模型才有機會學到更多偏好。
機器人學新策略
機器人要在熟悉路徑和陌生路徑之間分配嘗試。
Before:永遠走舊路。After:透過探索找到更省時的路線。
演算法與應用
常見策略有 epsilon-greedy、UCB 和 Thompson Sampling。
epsilon-greedy 會保留一小部分機率去探索,UCB 會把不確定性也算進分數,Thompson Sampling 則用機率分布抽樣。
真正難的是怎麼在不同階段調整探索比例,前期多試、後期多用,通常比較合理。
情境判斷
Q1(直覺題): 你在推薦系統裡只推歷史點擊率最高的內容,可能會發生什麼事?
模型會越來越保守,只會強化既有偏好,最後很難發現新內容的潛力。
Q2(判斷題): 探索比例是不是越高越好?
看情況。前期可以高一點,後期通常要降低;如果試錯成本很高,探索也不能太激進。
常見問題
先從較高的探索比例開始,再隨著學習進行慢慢下降,實際值要看任務表現。
因為它會把「不確定但可能很強」的選項加分,讓模型不只看目前均值。
它會從每個選項的價值分布抽樣,再選當下樣本最高的選項。
概念相通但脈絡不同。組織學習研究常引用 March 1991 年的論文,用探索指嘗試新技術、新市場,利用指精進現有產品與流程,討論的是企業如何分配資源。強化學習的探索與利用則是演算法每一步選動作時的取捨,可以用 epsilon-greedy、UCB 這類方法量化處理。
傳統 A/B 測試先固定分流比例,測完才把流量全給勝出的版本,測試期間等於都在探索。用多臂吃角子老虎機演算法(例如 Thompson Sampling)做線上實驗時,會邊測邊把更多流量分給表現好的版本,減少測試期間的損失,代價是統計分析比固定分流複雜。
相關術語
來源
參考來源:en.wikipedia.org
其他格式:Markdown 版本