Modele de coduri în context lung Magic AI
Magic AI construiește modele de generare de cod de frontieră care se disting prin ferestre de context extrem de lungi, permițând unui model să citească o întreagă bază de cod simultan.
Prezentare generală
It matters because software understanding depends on context, and a model that can hold millions of lines in memory can reason about a whole project rather than one file.
Scufundare în profunzime
Magic AI este un startup care își propune să construiască un inginer software AI, mai degrabă decât un instrument de completare automată. Realizarea sa principală este familia de modele LTM (Long-Term Memory), inclusiv LTM-2-mini, despre care compania spune că acceptă ferestre de context de până la 100 de milioane de jetoane - aproximativ echivalentul a aproximativ 10 milioane de linii de cod sau mii de cărți deținute în context activ simultan. În 2024, Magic a anunțat un parteneriat major cu Google Cloud pentru a construi supercalculatoare pe hardware-ul Nvidia și a strâns sute de milioane de dolari, cu susținători inclusiv Eric Schmidt. Pentru a măsura progresul dincolo de criteriile de referință ușor de memorat, Magic a creat HashHop, o evaluare care utilizează lanțuri hash aleatorii pe care un model nu le poate aminti pur și simplu din antrenament, forțând recuperarea autentică a contextului lung.
Perspectivă tehnică
Atenția transformatorului standard crește în mod pătratic cu lungimea secvenței, ceea ce face ca contextele de 100 de milioane de jetoane să fie prohibitiv de costisitoare cu metode naive. Magic raportează că algoritmul său LTM-2-mini secvență-dimensiune este dramatic mai ieftin pe token decât o astfel de abordare, permițând un context ultra-lung la prețuri accesibile. Benchmark-ul HashHop înlocuiește indicii semantice cu perechi hash aleatoare, incompresibile, astfel încât singura modalitate de a răspunde este de a prelua și înlănțui informațiile în întreaga fereastră de context - un test mult mai strict al capacității de context lung.
Impact strategic
Strategia furnizorului
Foile de parcurs ale furnizorilor influențează caracteristicile pe care echipa ta le poate construi în continuare.
Cost și buget
Condițiile comerciale și opțiunile de implementare afectează costurile și riscurile pe termen lung.
Risc și siguranță
Stimulentele companiei modelează valorile implicite ale produselor, postura de siguranță și deschiderea.
Viitorul modelelor de cod în context lung Magic AI
Dacă modelele pot păstra și raționa în mod fiabil o întreagă bază de cod, asistenții AI trec de la sugerarea de fragmente la efectuarea de refactorări la nivelul întregului proiect, urmărirea erorilor în multe fișiere și implementarea funcțiilor care ating zeci de module. Provocările deschise sunt menținerea rapidă și ieftină a inferenței în context ultra-lung și demonstrarea că modelul folosește cu adevărat contextul îndepărtat în loc să-l ignore. Așteptați-vă ca un context lung și fluxuri de lucru agentice să converge în sisteme care acționează ca autentici colaboratori de inginerie software.
Implementare în lumea reală
Încărcarea unui întreg depozit mare, astfel încât modelul să poată răspunde la întrebări despre modul în care modulele îndepărtate interacționează.
Efectuarea unui refactor la nivelul întregului proiect în care o modificare a interfeței unui fișier este propagată corect în întreaga bază de cod.
Urmărirea unei erori a cărei cauză se întinde pe mai multe fișiere prin raționarea întregului context simultan, în loc de fișier cu fișier.
Integrarea la o bază de cod necunoscută, solicitând modelului să rezume arhitectura folosind sursa completă ca context.
Riscuri și balustrade
Anunțurile de lansare pot depăși stabilitatea în fluxurile de producție reale.
Prețurile API sau schimbările de politică pot rupe ipoteze peste noapte.
Dependența de un singur furnizor crește costurile de blocare și migrare.
Foaia de parcurs de implementare
Evaluați furnizorii folosind propriile sarcini și seturi de date.
Examinați confidențialitatea, securitatea și condițiile legale înainte de integrare.
Mențineți un plan alternativ pentru modele sau furnizori.
Monitorizați notele de lansare, astfel încât modificările foii de parcurs să nu surprindă echipele.
Continuați să explorați
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Magic AI Long-Context Code Models quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Următorul ghid
Protocolul de context model
Întrebări frecvente
What is Magic AI Long-Context Code Models?
Magic AI construiește modele de generare de cod de frontieră care se disting prin ferestre de context extrem de lungi, permițând unui model să citească o întreagă bază de cod simultan. Contează pentru că înțelegerea software-ului depinde de context, iar un model care poate stoca milioane de linii în memorie poate raționa mai degrabă un întreg proiect decât un fișier.
Ce încearcă în primul rând să construiască Magic AI?
Magic își propune să construiască un inginer software AI, nu doar un instrument de completare automată.
Ce dimensiune a ferestrei de context a revendicat Magic pentru modelele sale LTM?
Magic a anunțat suport pentru ferestre de context de până la 100 de milioane de jetoane, aproximativ 10 milioane de linii de cod.
Ce este HashHop?
HashHop folosește perechi hash aleatoare, incompresibile, astfel încât un model trebuie să recupereze cu adevărat și să înlănțească informațiile în context.
De ce este atenția naivă a transformatorului o problemă pentru contexte de 100 de milioane de token-uri?
Costul atenției standard crește odată cu pătratul lungimii secvenței, astfel încât contextele foarte lungi sunt extrem de scumpe fără algoritmi mai buni.
Cu ce companie s-a asociat Magic în 2024 pentru a construi supercalculatoare?
Magic a anunțat un parteneriat cu Google Cloud pentru a construi supercomputere pe hardware Nvidia.