Моделі довгоконтекстного коду Magic AI
Magic AI створює передові моделі генерації коду, що відрізняються надзвичайно довгими контекстними вікнами, що дозволяє моделі читати всю кодову базу одночасно.
Огляд
It matters because software understanding depends on context, and a model that can hold millions of lines in memory can reason about a whole project rather than one file.
Глибоке занурення
Magic AI — це стартап, метою якого є створення інженера програмного забезпечення ШІ, а не просто інструменту автозаповнення. Її головним досягненням є сімейство моделей LTM (Long-Term Memory), включаючи LTM-2-mini, який, за словами компанії, підтримує контекстні вікна до 100 мільйонів токенів, що приблизно еквівалентно приблизно 10 мільйонам рядків коду або тисячам книг, які одночасно зберігаються в активному контексті. У 2024 році Magic оголосила про велике партнерство з Google Cloud для створення суперкомп’ютерів на апаратному забезпеченні Nvidia та зібрала сотні мільйонів доларів за підтримки Еріка Шмідта. Щоб виміряти прогрес поза межами тестів, які легко запам’ятовувати, Magic створила HashHop, оцінку з використанням випадкових хеш-ланцюжків, які модель не може просто згадати з навчання, що вимагає справжнього пошуку довгого контексту.
Технічне розуміння
Стандартна увага трансформатора масштабується квадратично з довжиною послідовності, що робить контексти з 100 мільйонів токенів непомірно дорогими за допомогою наївних методів. Magic повідомляє, що її міні-алгоритм LTM-2-sequence-dimension значно дешевший за токен, ніж такий підхід, що дозволяє доступно використовувати наддовгий контекст. Еталонний тест HashHop замінює семантичні підказки випадковими нестисливими хеш-парами, тож єдиний спосіб відповісти — фактично отримати та зв’язати інформацію в повному контекстному вікні — набагато суворіший тест на здатність довгоконтекстного аналізу.
Стратегічний вплив
Стратегія постачальника
Дорожні карти постачальників впливають на те, які функції ваша команда може створити далі.
Вартість і бюджет
Комерційні умови та варіанти розгортання впливають на довгострокову вартість і ризик.
Ризики та безпека
Стимули компанії формують стандарти продукту, безпеку та відкритість.
Майбутнє моделей довгоконтекстного коду Magic AI
Якщо моделі можуть надійно зберігати та міркувати над цілою кодовою базою, помічники штучного інтелекту переходять від пропозиції фрагментів до виконання загальнопроектних рефакторів, відстеження помилок у багатьох файлах і впровадження функцій, які стосуються десятків модулів. Відкритими проблемами є збереження швидкого та дешевого висновку наддовгого контексту та доведення, що модель справді використовує віддалений контекст, а не ігнорує його. Очікуйте, що довгий контекст і агентські робочі процеси об’єднаються в системи, які діють як справжні партнери в розробці програмного забезпечення.
Реалізація в реальному світі
Завантаження цілого великого сховища, щоб модель могла відповісти на запитання про те, як взаємодіють віддалені модулі.
Виконання рефакторинга для всього проекту, де зміна в інтерфейсі одного файлу правильно поширюється на всю кодову базу.
Відстеження помилки, причина якої охоплює багато файлів, розглядаючи весь контекст одночасно, а не файл за файлом.
Перехід до незнайомої кодової бази, попросивши модель узагальнити архітектуру, використовуючи повне джерело як контекст.
Ризики та огорожі
Оголошення про запуск можуть випереджати стабільність у реальних робочих процесах виробництва.
Зміни в ціноутворенні API або в політиці можуть миттєво порушити припущення.
Залежність від одного постачальника збільшує витрати на блокування та міграцію.
Дорожня карта впровадження
Оцініть постачальників за допомогою власних завдань і наборів даних.
Перегляньте умови конфіденційності, безпеки та юридичні умови перед інтеграцією.
Підтримуйте запасний план для різних моделей або постачальників.
Слідкуйте за примітками до випуску, щоб зміни дорожньої карти не здивували команди.
Продовжуйте досліджувати
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Magic AI Long-Context Code Models quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Наступний посібник
Модель контекстного протоколу
Часті запитання
What is Magic AI Long-Context Code Models?
Magic AI створює передові моделі генерації коду, що відрізняються надзвичайно довгими контекстними вікнами, що дозволяє моделі читати всю кодову базу одночасно. Це важливо, оскільки розуміння програмного забезпечення залежить від контексту, а модель, яка може містити мільйони рядків у пам’яті, може міркувати про цілий проект, а не про один файл.
Що в першу чергу намагається створити Magic AI?
Magic прагне створити програмного інженера ШІ, а не просто інструмент автозаповнення.
Який розмір контекстного вікна заявляє Magic для своїх моделей LTM?
Magic оголосила про підтримку контекстних вікон до 100 мільйонів токенів, приблизно 10 мільйонів рядків коду.
Що таке HashHop?
HashHop використовує випадкові нестисливі хеш-пари, тому модель повинна справді отримувати та зв’язувати інформацію через контекст.
Чому наївна увага трансформатора є проблемою для контекстів із 100 мільйонами токенів?
Вартість стандартної уваги зростає з квадратом довжини послідовності, тому дуже довгі контексти надзвичайно дорогі без кращих алгоритмів.
З якою компанією Magic співпрацювала у 2024 році для створення суперкомп’ютерів?
Magic оголосила про партнерство з Google Cloud для створення суперкомп’ютерів на обладнанні Nvidia.