上下文視窗
上下文視窗是模型一次可以讀取並記住的最大文字量（以標記為單位）。
概述
It sets a hard limit on how much of your conversation, documents, or instructions the model can actually use.
深入探討
模型不會直接讀取字元或單字；他們讀取標記，其中標記是一段文本，大約相當於英文單字的四分之三。上下文視窗計算提示加上模型自己的回應。早期的 GPT-3 處理了大約 2,000 個代幣；到 2025-2026 年，前沿模型急劇擴展 - Google 的 Gemini 達到 1 到 200 萬個代幣，多個 Gemini 達到 1 到 200 萬個代幣，多個 Gemini 達到 1 到 200 萬個代幣，多個 __AIU_PRO10808412080 1208080萬個代幣，足以容納整本書或程式碼庫。但越大不一定越好。因為注意力會將每個標記相互比較，所以計算和記憶體成本隨著長度的增加而急劇上升。模型也表現出「迷失在中間」的效果，比埋在中間的材料更可靠地回憶起長輸入開始和結束時的信息。
技術洞察
單一請求中的所有內容（系統指令、先前的聊天回合、貼上的文件以及產生的答案）都必須符合代幣預算。當它溢出時，最舊的內容就會被丟棄或必須進行總結，這就是為什麼長時間的聊天似乎會「忘記」。較大的視窗成本高昂，因為自註意力大致與令牌計數的平方成正比，並且模型會快取每個令牌的鍵/值向量，從而消耗記憶體。這就是為什麼提供者按代幣定價的原因，也是為什麼檢索通常比將所有內容填充到上下文中更便宜的原因。
戰略影響
速度與規模
語言工作流程可以在不犧牲一致性的情況下更快地移動。
交通與覆蓋範圍
它擴展了跨語言和溝通方式的訪問。
更明確的決策
團隊可以花更多時間進行判斷，而自動化則可以處理重複。
上下文視窗的未來
上下文視窗將繼續增長，但重點正從原始大小轉向有效使用。更好的長上下文訓練、注意力優化和鍵/值緩存壓縮等技術旨在減少「中間丟失」問題和成本曲線。檢索增強生成仍將是一個實用的補充，僅獲取相關區塊，而不是每次呼叫都付費處理數百萬個代幣。預計「模型使用其視窗的可靠性如何」比標題最大數字更重要。
現實世界的實施
貼上整個合約或研究論文，以便模型可以回答有關它的問題，而不會丟失前面的部分。
在長時間的編碼會話中，助理需要同時保留許多文件和先前的變更。
客戶支援機器人必須記住對話的完整來回以保持一致。
分析大型日誌或文字記錄，其中關鍵細節可能相距很遠，並且有「在中間丟失」的風險。
風險與防護欄
幻覺的事實可以悄悄地進入報告、支持流程或研究成果。
及時的敏感性可能會在類似的請求中產生不一致的結果。
如果存取控制薄弱，敏感文字資料可能會暴露。
實施路線圖
在推出之前定義輸出格式、語氣和品質標準。
當準確性很重要時，請使用可信任來源進行地面回應。
為高風險輸出保留人工審查檢查點。
追蹤故障模式並定期重新訓練提示或工作流程。
不斷探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Context Windows quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常見問題
What is Context Windows?
上下文視窗是模型一次可以讀取並記住的最大文字量（以標記為單位）。它對模型實際可以使用的對話、文件或指令的數量設定了硬性限制。
模型的上下文視窗衡量什麼？
上下文視窗是單一請求的令牌預算——模型一次可以讀取和回應多少文字。
在這種情況下，令牌是什麼？
模型將文字處理為標記，即子詞塊；在英語中，一個記號平均大約佔一個單字的四分之三。
哪些項目計入單一請求中的上下文視窗？
整個請求共享一個預算：指令、對話歷史記錄、任何貼上的內容以及模型本身的輸出都會消耗令牌。
為什麼更大的上下文視窗不會自動變得更好？
注意力成本大致隨標記數量的平方而增長，「中間丟失」效應意味著文件中間細節的回憶不太可靠。
為什麼經常使用檢索增強生成（RAG）而不是將所有內容放入上下文視窗中？
RAG 僅檢索知識庫的相關部分，從而避免了在每次請求時將大量文字輸入模型的成本。