AITerms 登入
自然語言處理大型語言模型上下文長度

上下文窗口(Context Window)是什麼?

上下文窗口是指,大型語言模型一次性能處理的最大 Token 數量,超過此限制模型便會遺忘先前的內容

完整定義

上下文窗口是一種在自然語言處理中使用的技術,用於指定模型在處理文本時可以考慮的周圍文本範圍。它決定了模型在預測下一個單詞或理解句子含義時,能夠參考多少先前的和後續的文本。更大的上下文窗口通常能提供更豐富的資訊,但也會增加計算複雜度。

白話說明

你有沒有發現,聊天聊太長,AI 好像會忘記前面說過的事?

你可以把上下文窗口想成「模型一次能看見的文字長度」:在這個範圍裡,它還記得你說了什麼,超過後就看不到更早的內容。

它很重要,因為很多對話、文件分析和長文推理都受這個限制影響,窗口太小時,模型就容易漏掉前文資訊。

記住這句

視野越大,模型越不容易忘前文。

比喻:上下文窗口就像你的短期記憶容量 -- 你在跟朋友聊天時,一次能記住他說的幾句話,但如果話題太長或太久,你就可能會忘記前面說了什麼。

容易混淆

上下文窗口 vs 長期記憶 vs token 上限

上下文窗口:單次可處理的內容範圍

長期記憶:跨次對話仍可保存的資訊

token 上限:窗口大小常用的計量方式

最關鍵的區別:上下文窗口是「這一回合看得到多少」,不是永久記住多少。

實際案例

長篇文件摘要

前:文件一拉長,前面的定義常被漏掉

後:增加上下文窗口,或先分段摘要,再合併成總結

客服對話

前:聊到第三輪後,模型忘了客戶前面提過的訂單號

後:把關鍵資訊持續放回上下文,讓模型維持對話脈絡

演算法與應用

上下文窗口常和注意力機制、token、檢索增強生成一起討論

在產品設計上,它會影響提示長度、文件切片策略、對話保留和成本控制

窗口變大不是毫無代價,計算成本通常也會跟著上升

中英對照與常見說法

說法
上下文窗口
出現場合
中文最常見譯法
說法
上下文视窗、上下文长度
出現場合
簡體與其他變體
說法
Context Window
出現場合
英文原名
說法
脈絡窗口、上下文限制
出現場合
常見變體
說法
Context Length(上下文長度)
出現場合
幾乎同義,多用於描述模型規格

它到底限制了什麼

上下文窗口是模型單次能處理的 token 總量上限,而且這個上限是輸入加輸出一起算的。

這件事常被誤解。窗口 128K 不代表可以塞 128K 的文件然後還能生成很長的回覆,塞得越滿,能生成的空間就越少。實務上要預留輸出空間。

一次對話裡佔用窗口的東西通常包括:系統提示、工具定義、先前的對話歷史、檢索回來的文件、使用者這次的問題、以及模型要生成的回覆。多輪對話裡最先撐爆窗口的往往是對話歷史。

token 與字數的換算

換算比例依模型的斷詞器而異,要精確計算就用該模型提供的計算工具,不要用經驗值估。中文的 token 效率通常比英文差,同樣一份文件翻成中文可能多耗三成到五成的 token。

語言與內容
英文
大約換算
1 個 token 約 4 個字元,或約 0.75 個單字
語言與內容
中文
大約換算
1 個中文字約 1 到 2 個 token,視斷詞器而定
語言與內容
程式碼
大約換算
通常比一般文字耗 token,符號多且變數名會被切碎

窗口大不等於用得好

中間遺失(lost in the middle) 是已知現象:模型對放在開頭與結尾的資訊注意力較高,放在中間的容易被忽略。所以重要的指令與關鍵文件應該放在開頭或結尾,不要埋在一大段文字中間。

成本與延遲隨長度上升。 自注意力的計算量隨序列長度平方成長,雖然現在有各種最佳化,長上下文仍然明顯更慢更貴。把整份手冊塞進提示,往往比先檢索出相關的三段再送進去,又慢又貴又不準。

有效上下文常常小於宣稱上下文。 模型宣稱支援某個長度,不代表在該長度下的推理品質不變。評估長上下文能力要看實際的檢索與推理測試,不要只看規格數字。

這也是為什麼檢索增強生成(RAG)並沒有因為窗口變大而被取代:先篩掉無關內容再送進模型,仍然是又快又準又省的做法。

情境判斷

Q1(直覺題): 如果模型忘了你前面兩千字說過的規則,可能和上下文窗口有關嗎?

有,很可能是因為超出可見範圍。

Q2(判斷題): 上下文窗口越大,就一定越好嗎?

不一定。窗口大通常更能記住前文,但成本、速度和實作難度也會上升。

常見問題

出現在這些考古題

官方公告試題的逐題解析裡,這 4 題把上下文窗口列為延伸術語。

相關術語

本頁內容有提到,或屬於同一組主題的術語

來源

這個術語目前沒有標註外部來源。

其他格式:Markdown 版本