iPAS 備考專區 登入

iPAS AI 應用規劃師 初級 科目一 人工智慧基礎概論・115 年第一次・L11・第 19 題

強化學習怎麼動態調整行動策略?

原題

某物流公司導入強化式學習(Reinforcement Learning)優化車隊調度。模型在系統運行過程中,會依據不同配送狀態動態調整行動選擇方式,使決策結果逐步朝較佳績效收斂。上述模型在學習過程中的調整行為,最符合下列哪一項強化式學習核心機制?

白話

一家物流公司把強化式學習(Reinforcement Learning)用在車隊調度上。這個模型在實際運行過程中,會依據當下的配送狀態來調整自己選擇行動的方式,讓決策結果一步步往更好的績效靠攏。

問你:模型在學習過程中依不同配送狀態動態調整行動選擇、逐步收斂到較佳績效,這個行為最符合哪一項強化式學習的核心機制?

一句話總結

強化學習的核心機制是調整策略函數(Policy Function)來改變行動選擇機率,模型透過執行結果的獎勵回饋,不斷調整「在什麼狀態下該做什麼」的決策邏輯,讓長期報酬逐步提升。

情境

先感受問題:物流司機怎麼「越跑越聰明」?

「快閃物流」有 50 輛配送車,調度中心的 AI 系統叫做「路路通」。剛開始路路通什麼都不懂,遇到「台北市下午三點、雨天、訂單量 300 件」這個狀態,隨機決定派幾輛車、走哪條路。

第一週:路路通的決定讓 30% 的包裹遲到,調度績效很差(低獎勵)。

第二週:路路通從這些結果學習,在「雨天」狀態下多派 20% 的車、在「三點下班時段」避開幹道。績效改善,遲到率降到 18%(較高獎勵)。

第三週:路路通繼續微調,遲到率降到 8%。

路路通做的事情,就是在每個狀態下調整「應該怎麼行動的機率分布」。這就是強化學習的策略更新。

舊方法

沒有強化學習之前,車隊調度怎麼做?

在路路通系統導入之前,「快閃物流」的調度靠的是:

  1. 固定規則:每天早上 8 點出 20 輛車,下午 2 點再出 20 輛車,不管當天訂單量和天氣
  2. 人工調度:調度主任憑經驗判斷,下雨天再多叫幾輛,但主任休假就沒辦法
  3. 歷史平均:取去年同期的平均出車數,忽略今天的即時狀況(塞車、大量訂單)
  4. 反應式處理:包裹遲到了才緊急調度,已經無法在當天挽回
  5. 試誤後人工調整規則:每季開會分析,人工修改規則,三個月才能反映一次,調整太慢

這些方法都無法做到「根據每個當下的狀態、持續自動優化行動選擇」。

新方法

強化學習如何透過策略函數改善決策

路路通的強化學習系統運作邏輯:

狀態(State):現在是什麼情況?時間 + 天氣 + 訂單量 + 車輛剩餘里程。這就是「依不同配送狀態」的含義。

行動(Action):在這個狀態下,出幾輛車、走哪條路、優先配送哪個區域?每種選擇都是一個「行動」。

策略函數(Policy Function):把「狀態」對應到「行動」的規則。一開始策略函數是隨機的,每個行動被選中的機率差不多。

獎勵(Reward):行動後的結果好不好?準時送達率高 = 高獎勵、遲到 = 低獎勵。

策略更新:根據獎勵,調整策略函數。讓能帶來高獎勵的行動在這個狀態下「被選中的機率變高」,讓帶來低獎勵的行動機率降低。

重複這個循環,策略函數越來越精準,路路通越來越聰明。

這就是選項 A 的正確理由:「調整策略函數以改變行動選擇機率」正是強化學習中把績效回饋轉化為決策改進的核心機制。

錯選項

為什麼其他選項是錯的

B更新訓練資料分布以降低模型偏差

字面在說什麼

重新取樣或調整訓練資料的組成,讓模型不要偏向某個方向。

為什麼不對

這是監督學習中處理資料偏差的手段,不是強化學習的核心機制。強化學習沒有「訓練資料集」的概念,它的學習來自環境互動的獎勵回饋,不是從資料分布調整。

誰會選錯

看到「模型學習過程中的調整」就聯想到「更新訓練資料」的人。強化學習跟監督學習的學習來源完全不同,要能區分。

C重新分群狀態資料以識別決策類型

字面在說什麼

把狀態資料重新聚類,讓模型能識別出不同類型的決策場景。

為什麼不對

「分群(Clustering)」是非監督學習的工具,不是強化學習的機制。強化學習的重點是在狀態下做什麼行動、獲得什麼獎勵、更新策略,不是去重新分類狀態。

誰會選錯

把「依不同狀態做決策」誤解成「先把狀態分類再決策」的人。RL 的狀態可以連續、不需要預先分群。

D建立正確決策標籤進行誤差修正

字面在說什麼

人工為每個決策情境打上「正確做法」的標籤,讓模型按標籤學習。

為什麼不對

這是監督學習的方式。強化學習的最大特點就是不需要人工打標籤,它從環境的獎懲中自行學習。如果需要建立正確標籤,就退化成監督學習,失去強化學習「從互動中學習」的優勢。

誰會選錯

對強化學習最大的誤解就是「還是要有正確答案」。記住:RL 的獎勵不是正確答案,是結果的好壞評分,由環境自動給出,不需人工標注。

變形題

同個考點下次怎麼變形

延伸

想再往下看,這 5 個

答案、題目或解析有問題?回報這題

出處:iPAS 經濟部產業人才能力鑑定 ・ 115 年第一次 iPAS AI 應用規劃師 初級 科目一 人工智慧基礎概論 第 19 題

看官方原文 PDF

原題 © 經濟部產業發展署,AITerms.tw 僅作教學解析使用,本站解析以 CC BY-NC-SA 4.0 授權。