Magic AI 长上下文代码模型
Magic AI 构建了前沿代码生成模型，其特点是超长的上下文窗口，让模型可以一次读取整个代码库。
概述
It matters because software understanding depends on context, and a model that can hold millions of lines in memory can reason about a whole project rather than one file.
深入探讨
Magic AI 是一家初创公司，旨在打造一名人工智能软件工程师，而不仅仅是一个自动完成工具。其主要成就是 LTM（长期记忆）模型系列，包括 LTM-2-mini，该公司表示，该模型支持多达 1 亿个令牌的上下文窗口，大约相当于同时在活动上下文中保存约 1000 万行代码或数千本书。 2024 年，Magic 宣布与 Google Cloud 建立重大合作伙伴关系，在 Nvidia 硬件上构建超级计算机，并筹集了数亿美元，支持者包括 Eric Schmidt。为了衡量超越易于记忆的基准的进展，Magic 创建了 HashHop，这是一种使用随机哈希链进行评估的方法，模型无法简单地从训练中回忆起该链，从而迫使进行真正的长上下文检索。
技术洞察
标准 Transformer 注意力随序列长度呈二次方缩放，使得使用朴素方法处理 1 亿个令牌的上下文变得极其昂贵。 Magic 报告称，其 LTM-2-mini 序列维度算法的每个标记比这种方法便宜得多，从而以经济实惠的方式实现超长上下文。 HashHop 基准测试用随机的、不可压缩的哈希对取代了语义提示，因此唯一的答案是在整个上下文窗口中实际检索和链接信息——这是对长上下文能力的更严格的测试。
战略影响
供应商策略
供应商路线图会影响您的团队接下来可以构建的功能。
成本与预算
商业条款和部署选项会影响长期成本和风险。
风险与安全
公司激励措施塑造了产品默认、安全态势和开放性。
Magic AI 长上下文代码模型的未来
如果模型能够可靠地保存和推理整个代码库，人工智能助手就会从建议片段转向执行项目范围的重构、跟踪许多文件中的错误以及实现涉及数十个模块的功能。开放的挑战是保持超长上下文推理快速且廉价，并证明模型真正使用远程上下文而不是忽略它。期望长上下文加上代理工作流程能够融合到充当真正的软件工程协作者的系统中。
现实世界的实施
加载整个大型存储库，以便模型可以回答有关远程模块如何交互的问题。
执行项目范围的重构，其中一个文件接口的更改可以正确传播到整个代码库。
通过立即推理完整上下文而不是逐个文件来跟踪其原因跨越多个文件的错误。
通过要求模型使用完整的源代码作为上下文来总结架构，从而进入不熟悉的代码库。
风险与防护栏
发布公告可能会超过实际生产工作流程的稳定性。
API 定价或政策转变可能会在一夜之间打破假设。
单一供应商依赖性增加了锁定和迁移成本。
实施路线图
使用您自己的任务和数据集评估提供商。
在集成之前查看隐私、安全和法律条款。
维护跨模型或供应商的后备计划。
监控发行说明，以便路线图的更改不会让团队感到意外。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Magic AI Long-Context Code Models quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
What is Magic AI Long-Context Code Models?
Magic AI 构建了前沿代码生成模型，其特点是超长的上下文窗口，让模型可以一次读取整个代码库。这很重要，因为软件理解取决于上下文，并且可以在内存中保存数百万行的模型可以推理整个项目而不是一个文件。
Magic AI 主要想要构建什么？
Magic 的目标是打造一名人工智能软件工程师，而不仅仅是一个自动完成工具。
Magic 声称其 LTM 模型的上下文窗口大小是多少？
Magic 宣布支持多达 1 亿个令牌（大约 1000 万行代码）的上下文窗口。
什么是HashHop？
HashHop 使用随机的、不可压缩的哈希对，因此模型必须跨上下文真正检索和链接信息。
为什么 Naive Transformer Attention 对于 1 亿个 token 的上下文来说是一个问题？
标准注意力的成本随着序列长度的平方而增长，因此如果没有更好的算法，很长的上下文会非常昂贵。
2024 年 Magic 与哪家公司合作建造超级计算机？
Magic 宣布与 Google Cloud 合作，在 Nvidia 硬件上构建超级计算机。