AITerms 登入
強化學習模型訓練最佳化

時序差分學習(Temporal Difference Learning)是什麼?

時序差分學習是一種強化學習方法,透過預測未來獎勵並更新預測值,從不完整的序列中學習,無需等待完整結果。

完整定義

時序差分學習 (TD Learning) 是一種強化學習演算法,它通過從不完整的序列中學習來預測未來獎勵。與蒙地卡羅方法不同,TD 學習可以在 episode 結束前更新其預測,使其能夠在線上和連續環境中學習。它結合了動態規劃的抽樣和貝爾曼方程的更新。

白話說明

你有沒有想過,模型到底是怎麼學會、怎麼驗收、怎麼慢慢變準的?

你可以把它想成先看答案,再用誤差修正模型。

時序差分學習 的重點是 時序差分學習是一種強化學習方法,透過預測未來獎勵並更新預測值,從不完整的序列中學習,無需等待完整結果。

它重要,是因為學習速度、穩定度和泛化能力,會決定模型最後能不能上線。

記住這句

有答案、會更新、看泛化。

比喻:時序差分學習就像一個下棋的學生 -- 他不需要等到棋局結束才知道自己這一步好不好,而是每走一步就根據當前局面預測接下來的勝算,並根據實際發展即時調整他的判斷。

容易混淆

時序差分學習 vs 強化學習

時序差分學習:偏向 讓模型學習、更新與驗收

強化學習:偏向 靠獎勵學習的方法

最關鍵的區別:時序差分學習看的是「讓模型學習、更新與驗收」,強化學習看的是「靠獎勵學習的方法」。

時序差分學習 vs 馬可夫決策過程

時序差分學習:偏向 讓模型學習、更新與驗收

馬可夫決策過程:偏向 描述決策流程的數學框架

最關鍵的區別:時序差分學習看的是「讓模型學習、更新與驗收」,馬可夫決策過程看的是「描述決策流程的數學框架」。

實際案例

案例:用標答案資料訓練垃圾郵件分類器

訓練時看標籤,部署時只看新郵件內容

案例:先保留一批沒看過的資料來驗收模型

這樣才能知道它是真的會做,還是只會背題

演算法與應用

先看資料,再更新參數,最後看驗證或測試表現

學習率、批次大小和損失函數,常一起決定收斂速度

重點不是背熟訓練集,而是遇到新資料也能做對

情境判斷

Q1(直覺題): 資料很多又想先跑起來,這類方法適不適合?

適合,尤其是你已經有標答案資料,想先做一版可用模型時。

Q2(判斷題): 資料很少但每一步都要很穩,這類方法一定是最佳解嗎?

看情況,資料少時通常還要配合正則化、驗證策略或其他方法,不能只靠同一招。

常見問題

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本