Модели длинноконтекстного кода Magic AI
Magic AI создает передовые модели генерации кода, отличающиеся чрезвычайно длинными контекстными окнами, позволяющими модели читать всю кодовую базу одновременно.
Обзор
It matters because software understanding depends on context, and a model that can hold millions of lines in memory can reason about a whole project rather than one file.
Глубокое погружение
Magic AI — это стартап, целью которого является создание инженера-программиста ИИ, а не просто инструмент автозаполнения. Ее главным достижением является семейство моделей LTM (долгосрочная память), включая LTM-2-mini, которое, по словам компании, поддерживает контекстные окна до 100 миллионов токенов, что примерно эквивалентно примерно 10 миллионам строк кода или тысячам книг, одновременно хранящихся в активном контексте. В 2024 году Magic объявила о крупном партнерстве с Google Cloud для создания суперкомпьютеров на оборудовании Nvidia и собрала сотни миллионов долларов, среди спонсоров которого был Эрик Шмидт. Чтобы измерить прогресс за пределами легко запоминающихся контрольных показателей, Magic создала HashHop — оценку, использующую случайные цепочки хеш-функций, которые модель не может просто вспомнить в ходе обучения, что требует подлинного извлечения в долгом контексте.
Техническая информация
Внимание стандартного преобразователя масштабируется квадратично с длиной последовательности, что делает контексты в 100 миллионов токенов непомерно дорогими при использовании наивных методов. Magic сообщает, что ее алгоритм измерения последовательности LTM-2-mini значительно дешевле в расчете на токен, чем такой подход, что обеспечивает доступность сверхдлинного контекста. Тест HashHop заменяет семантические подсказки случайными несжимаемыми хэш-парами, поэтому единственный способ ответить — это фактически получить и связать информацию по всему контекстному окну — гораздо более строгий тест на способность работать с длинным контекстом.
Стратегическое воздействие
Стратегия поставщика
Дорожные карты поставщиков влияют на то, какие функции ваша команда может создать дальше.
Стоимость и бюджет
Коммерческие условия и варианты развертывания влияют на долгосрочные затраты и риски.
Риски и безопасность
Стимулы компании влияют на невыполнение обязательств по продукту, безопасность и открытость.
Будущее моделей длинноконтекстного кода Magic AI
Если модели могут надежно хранить и анализировать всю кодовую базу, помощники ИИ переходят от предложения фрагментов к выполнению рефакторинга всего проекта, отслеживанию ошибок во многих файлах и реализации функций, затрагивающих десятки модулей. Открытые проблемы заключаются в том, чтобы сделать вывод сверхдлинного контекста быстрым и дешевым, а также доказать, что модель действительно использует удаленный контекст, а не игнорирует его. Ожидайте, что длинный контекст и агентные рабочие процессы объединятся в системы, которые будут действовать как настоящие партнеры по разработке программного обеспечения.
Реальная реализация
Загрузка всего большого репозитория, чтобы модель могла ответить на вопросы о том, как взаимодействуют удаленные модули.
Выполнение рефакторинга всего проекта, при котором изменение в интерфейсе одного файла правильно распространяется на всю кодовую базу.
Отслеживание ошибки, причина которой охватывает множество файлов, путем анализа всего контекста сразу, а не каждого файла.
Подключение к незнакомой кодовой базе путем запроса модели суммировать архитектуру, используя полный исходный код в качестве контекста.
Риски и ограничения
Объявления о запуске могут опережать стабильность реальных производственных процессов.
Цены на API или изменения в политике могут в одночасье разрушить предположения.
Зависимость от одного поставщика увеличивает затраты на привязку и миграцию.
Дорожная карта реализации
Оценивайте поставщиков, используя собственные задачи и наборы данных.
Перед интеграцией ознакомьтесь с условиями конфиденциальности, безопасности и юридическими условиями.
Поддерживайте резервный план для разных моделей или поставщиков.
Отслеживайте примечания к выпуску, чтобы изменения в дорожной карте не удивили команды.
Продолжайте исследовать
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Magic AI Long-Context Code Models quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Следующее руководство
Протокол контекста модели
Часто задаваемые вопросы
What is Magic AI Long-Context Code Models?
Magic AI создает передовые модели генерации кода, отличающиеся чрезвычайно длинными контекстными окнами, позволяющими модели читать всю кодовую базу одновременно. Это важно, поскольку понимание программного обеспечения зависит от контекста, а модель, которая может хранить миллионы строк в памяти, может рассуждать о целом проекте, а не об одном файле.
Что в первую очередь пытается создать Magic AI?
Magic стремится создать инженера-программиста с искусственным интеллектом, а не просто инструмент автозаполнения.
Какой размер контекстного окна заявлен в Magic для своих моделей LTM?
Magic объявила о поддержке контекстных окон размером до 100 миллионов токенов, примерно 10 миллионов строк кода.
Что такое ХэшХоп?
HashHop использует случайные несжимаемые пары хешей, поэтому модель должна действительно извлекать и связывать информацию в контексте.
Почему наивное внимание преобразователя является проблемой для контекстов со 100 миллионами токенов?
Стоимость стандартного внимания растет пропорционально квадрату длины последовательности, поэтому очень длинные контексты чрезвычайно дороги без лучших алгоритмов.
С какой компанией Magic сотрудничала в 2024 году для создания суперкомпьютеров?
Magic объявила о партнерстве с Google Cloud для создания суперкомпьютеров на оборудовании Nvidia.