循環世界模型 是什麼？
Looped World Models：循環世界模型 的完整解釋
AI 代理在環境中不斷感知、預測、行動並以回饋更新內部世界表徵的閉環學習架構。
循環世界模型（Looped World Models）是現代 AI 代理研究的前沿方向，融合了認知科學對人類「心智模擬」能力的理解與強化學習的工程實踐。其核心主張是：一個高效的 AI 代理不應只是被動地對環境刺激做出反應，而應主動維護一個對環境的內部表徵（Internal World Representation），以此支撐前瞻規劃、反事實推理與樣本高效的學習。
從 World Model 到 Looped World Model
世界模型（World Model）的概念最早由 David Ha 和 Jürgen Schmidhuber 在 2018 年的論文「World Models」中系統化提出，展示了 AI 代理可以學習環境的壓縮表徵，並在「夢境」（Dream，即世界模型的內部模擬）中訓練控制策略，再遷移到真實環境中執行。
「循環」（Looped）特指這個過程不是一次性的單向管道（感知→推斷→行動），而是形成閉合循環：代理的行動改變環境狀態，改變後的環境狀態被感知並更新世界模型，更新後的世界模型指導下一輪行動，如此不斷循環，使代理的世界模型持續精煉、越來越精確。
架構的核心組件
感知編碼器（Perceptual Encoder）：將高維原始感官輸入（如影像像素、聲波、感測器讀數）壓縮為低維隱空間表徵（Latent Representation）。常見方法包含 VAE（變分自動編碼器）、VQ-VAE、或 Transformer 的 Patch Embedding。
狀態轉移模型（Transition Model）：預測在給定當前狀態 s_t 和行動 a_t 後，下一時刻的狀態 s_{t+1}（或其在隱空間中的表徵）。這是世界模型的核心，可以是 RNN/LSTM、Transformer 或擴散模型。
獎勵模型（Reward Model）：預測特定狀態轉移帶來的獎勵信號，讓代理可以在內部模擬中評估不同行動序列的預期回報。
控制器 / 策略（Controller / Policy）：基於世界模型的預測，選擇最能最大化累積獎勵的行動。可以是傳統強化學習的值函數或策略梯度方法，也可以是基於模型的規劃演算法（如 MCTS、MPC）。
循環更新機制（Loop Update Mechanism）：以真實環境互動的資料，持續訓練和校正上述各模組，使世界模型與真實環境保持同步。
代表性研究與系統
Dreamer / DreamerV3（DeepMind，2019-2023）：最具代表性的循環世界模型系統，代理完全在世界模型的「夢境」中進行強化學習訓練，僅需極少量真實環境互動即可達到人類水準的 Atari 遊戲表現。DreamerV3 進一步泛化到機器人控制、Minecraft、足球等多樣化任務，展示了循環世界模型的跨域適應性。
Model-Based Value Expansion（MBVE）：在 Model-Free 強化學習中引入世界模型，僅用其擴展短期規劃，減少對世界模型精確性的依賴，作為 Model-Based 與 Model-Free 方法的折衷。
TD-MPC2（2023）：以 Temporal Difference 學習結合 Model Predictive Control，形成高樣本效率的循環控制架構，在連續動作空間機器人任務上取得優異成績。
在大型語言模型中的延伸
隨著大型語言模型（LLM）的崛起，「循環世界模型」的概念被延伸到語言代理領域：語言代理以自然語言維護對任務環境的描述（世界狀態），在行動後更新此描述，並基於更新後的描述規劃下一步行動，形成語言層面的循環世界模型。代表性框架包含 Reflexion（讓代理在失敗後用語言反思並更新策略）與各種記憶增強的 Agent 架構。
優勢與挑戰
核心優勢：在真實環境互動成本高昂（如機器人訓練、藥物研發實驗）的場景中，循環世界模型可以在內部模擬大量「假設性」行動序列，找到最優策略後再在真實環境中執行，大幅減少昂貴的試錯次數。此外，世界模型使代理具備前瞻規劃（Lookahead Planning）能力，能預見行動的長期後果，而非只優化即時獎勵。
核心挑戰：世界模型的「複合誤差」（Compound Error）問題，即多步前向預測中每一步的小誤差累積放大，導致長期預測可靠性下降。世界模型分布偏移（Distribution Shift）問題，當真實環境發生變化而世界模型未更新時，基於舊模型的規劃可能失效。以及在複雜真實世界場景（如長視野機器人操作、複雜社交互動）中，建立足夠精確的世界模型本身就是巨大的工程挑戰。
在 iPAS AI 應用規劃師認證的相關考核中，循環世界模型屬於進階 AI 架構的理解範疇，考生需掌握其與單純反應式 Agent 的差異、核心優勢（樣本效率）及主要挑戰（複合誤差）。