Magic AI дългоконтекстни кодови модели
Magic AI изгражда гранични модели за генериране на код, отличаващи се с изключително дълги контекстни прозорци, позволяващи на модела да прочете цяла кодова база наведнъж.
Преглед
It matters because software understanding depends on context, and a model that can hold millions of lines in memory can reason about a whole project rather than one file.
Дълбоко гмуркане
Magic AI е стартираща компания, чиято цел е да изгради софтуерен инженер за изкуствен интелект, а не просто инструмент за автоматично довършване. Главното му постижение е фамилията модели LTM (Long-Term Memory), включително LTM-2-mini, за който компанията казва, че поддържа контекстни прозорци до 100 милиона токена – приблизително еквивалентни на около 10 милиона реда код или хиляди книги, съхранявани в активен контекст наведнъж. През 2024 г. Magic обяви голямо партньорство с Google Cloud за изграждане на суперкомпютри на хардуер на Nvidia и събра стотици милиони долари с поддръжници, включително Ерик Шмид. За да измери напредъка отвъд лесно запомнящите се бенчмаркове, Magic създаде HashHop, оценка, използваща произволни хеш вериги, които моделът не може просто да извика от обучението, принуждавайки истинско извличане на дълъг контекст.
Техническа информация
Стандартното внимание на трансформатора се мащабира квадратично с дължината на последователността, което прави контекстите от 100 милиона токена прекалено скъпи с наивни методи. Magic съобщава, че неговият LTM-2-мини алгоритъм за измерение на последователност е драстично по-евтин на токен от такъв подход, което позволява ултра-дълъг контекст на достъпна цена. Бенчмаркът HashHop заменя семантичните подсказки с произволни, несвиваеми хеш двойки, така че единственият начин да се отговори е действително да се извлече и веригира информация в прозореца с пълен контекст – много по-строг тест за способност за дълъг контекст.
Стратегическо въздействие
Vendor strategy
Пътните карти на доставчиците влияят на това какви функции вашият екип може да изгради по-нататък.
Cost and budget
Търговските условия и опциите за внедряване влияят върху дългосрочните разходи и риск.
Risk and safety
Стимулите на компанията оформят продуктовите стандарти, безопасността и откритостта.
Бъдещето на магическите AI кодови модели с дълъг контекст
Ако моделите могат надеждно да задържат и разсъждават върху цяла кодова база, AI асистентите преминават от предлагане на фрагменти към извършване на рефактори за целия проект, проследяване на грешки в много файлове и внедряване на функции, които засягат десетки модули. Отворените предизвикателства са поддържането на извода за свръхдълъг контекст бърз и евтин и доказването, че моделът наистина използва отдалечен контекст, вместо да го игнорира. Очаквайте дълъг контекст плюс агентни работни потоци, за да се слеят в системи, които действат като истински сътрудници на софтуерното инженерство.
Внедряване в реалния свят
Зареждане на цяло голямо хранилище, така че моделът да може да отговори на въпроси за това как си взаимодействат отдалечените модули.
Извършване на рефакторинг за целия проект, при който промяна в интерфейса на един файл се разпространява правилно в цялата кодова база.
Проследяване на бъг, чиято причина обхваща много файлове, като разсъждава върху целия контекст наведнъж, вместо файл по файл.
Включване към непозната кодова база, като помолите модела да обобщи архитектурата, използвайки пълния източник като контекст.
Рискове и предпазни огради
Съобщенията за стартиране може да изпреварят стабилността в реалните производствени работни процеси.
Ценообразуването на API или промените в политиката могат да разбият предположенията за една нощ.
Зависимостта от един доставчик увеличава разходите за заключване и миграция.
Пътна карта за изпълнение
Оценявайте доставчиците, като използвате вашите собствени задачи и набори от данни.
Прегледайте поверителността, сигурността и правните условия преди интегриране.
Поддържайте резервен план за модели или доставчици.
Наблюдавайте бележките по изданието, така че промените в пътната карта да не изненадват екипите.
Продължете да изследвате
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Magic AI Long-Context Code Models quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Протокол за контекст на модела
Frequently asked questions
What is Magic AI Long-Context Code Models?
Magic AI изгражда гранични модели за генериране на код, отличаващи се с изключително дълги контекстни прозорци, позволяващи на модела да прочете цяла кодова база наведнъж. Има значение, защото разбирането на софтуера зависи от контекста и модел, който може да съдържа милиони редове в паметта, може да разсъждава за цял проект, а не за един файл.
Какво основно се опитва да изгради Magic AI?
Magic има за цел да изгради AI софтуерен инженер, а не просто инструмент за автоматично попълване.
Какъв размер на контекстния прозорец е заявил Magic за своите LTM модели?
Magic обяви поддръжка за контекстни прозорци с до 100 милиона токена, приблизително 10 милиона реда код.
Какво е HashHop?
HashHop използва произволни, несвиваеми хеш двойки, така че моделът трябва наистина да извлича и верижно свързва информация в контекста.
Защо наивното трансформиращо внимание е проблем за контексти от 100 милиона токена?
Цената на стандартното внимание нараства с квадрата на дължината на последователността, така че много дългите контексти са изключително скъпи без по-добри алгоритми.
С коя компания си партнира Magic през 2024 г. за изграждането на суперкомпютри?
Magic обяви партньорство с Google Cloud за изграждане на суперкомпютри на хардуер на Nvidia.