长上下文建模
长上下文建模使语言模型可以一次读取和推理非常大的输入，从数百页到整个代码库。
概述
It matters because a bigger context window changes what is possible without retrieval, fine-tuning, or splitting documents.
深入探讨
模型的上下文窗口是它在单次传递中可以处理的最大标记数。早期的模型处理几千个代币；现代系统达到数十万甚至数百万。主要障碍是标准的自注意力成本随着序列长度呈二次方增长，因此输入加倍大约会使工作量增加四倍。工程师们通过 RoPE 等更智能的位置编码及其缩放技巧、滑动窗口和 FlashAttention 等注意力变体以及巧妙的内存管理来应对这一问题。但更长的窗口期并不一定就越好。 “中间丢失”问题表明，模型通常会比埋在中间的事实更可靠地回忆起长输入的开头和结尾的信息，因此原始长度必须与真正可用的回忆配对。
技术洞察
自注意力将每个标记与其他标记进行比较，在序列长度 n 中提供 O(n 平方) 的计算和内存。这种二次缩放就是长上下文成本昂贵的原因。 FlashAttention 通过 IO 感知的平铺计算减少了内存瓶颈，避免将完整的注意力矩阵写入内存，而滑动窗口注意力将每个标记限制为局部邻域。旋转位置嵌入（RoPE）通常采用插值，让模型泛化到比训练时更长的序列长度。
战略影响
速度与规模
语言工作流程可以在不牺牲一致性的情况下更快地移动。
交通与覆盖范围
它扩展了跨语言和沟通方式的访问。
更清晰的判决
团队可以花更多时间进行判断，而自动化则可以处理重复。
长上下文建模的未来
上下文窗口将继续增长，但前沿正在从纯粹的长度转向有效利用它：更好的中间上下文回忆、更低的每个标记成本以及整个窗口的可靠推理。期望与检索进行更紧密的集成，以便模型仅提取重要的内容，再加上提示缓存，可以在许多查询中廉价地重用长固定上下文。将注意力与 Mamba 等状态空间模型相结合的架构旨在以近线性缩放处理非常长的序列。
现实世界的实施
将一整份 100 页的合同粘贴到一个提示中，并要求模型标记与给定政策冲突的每个条款。
加载整个代码库或大型模块，以便模型可以跨多个文件跟踪错误，而无需手动逐个文件检索。
一次性总结整本书或长会议记录，同时保持参考文献的一致性。
一次提供许多过去的支持票证，以便模型在查看完整历史记录的情况下回答新票证。
风险与防护栏
幻觉的事实可以悄悄地进入报告、支持流程或研究成果。
及时的敏感性可能会在类似的请求中产生不一致的结果。
如果访问控制薄弱，敏感文本数据可能会暴露。
实施路线图
在推出之前定义输出格式、语气和质量标准。
当准确性很重要时，请使用可信来源进行地面响应。
为高风险输出保留人工审查检查点。
跟踪故障模式并定期重新训练提示或工作流程。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Long-Context Modeling quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
What is Long-Context Modeling?
长上下文建模使语言模型可以一次读取和推理非常大的输入，从数百页到整个代码库。这很重要，因为更大的上下文窗口可以改变无需检索、微调或拆分文档的情况。
模型的“上下文窗口”指的是什么？
上下文窗口是模型可以在单次前向传递中同时读取和推理的令牌预算。
为什么标准的自注意力对于长输入来说会变得昂贵？
自注意力将每个标记与其他每个标记进行比较，因此序列长度 n 中的成本按 O(n 平方) 缩放。
什么是“迷失在中间”的问题？
研究表明，放置在较长上下文中的内容的检索准确性会下降，因此仅长度并不能保证召回。
FlashAttention主要改进了什么？
FlashAttention 以图块的形式计算注意力，而无需在内存中具体化完整的注意力矩阵，从而降低了长序列的内存成本。
旋转位置嵌入 (RoPE) 在长上下文模型中发挥什么作用？
RoPE 对相对位置信息进行编码，并且可以进行插值，以便模型处理比其训练长度更长的序列。