Modèles de code à contexte long Magic AI
Magic AI crée des modèles de génération de code frontière caractérisés par des fenêtres contextuelles extrêmement longues, permettant à un modèle de lire une base de code entière à la fois.
Aperçu
It matters because software understanding depends on context, and a model that can hold millions of lines in memory can reason about a whole project rather than one file.
Plongée profonde
Magic AI est une startup visant à créer un ingénieur logiciel d'IA plutôt qu'un simple outil de saisie semi-automatique. Sa principale réussite est la famille de modèles LTM (Long-Term Memory), y compris LTM-2-mini, qui, selon la société, prend en charge des fenêtres contextuelles allant jusqu'à 100 millions de jetons, ce qui équivaut à peu près à environ 10 millions de lignes de code ou à des milliers de livres conservés simultanément dans un contexte actif. En 2024, Magic a annoncé un partenariat majeur avec Google Cloud pour construire des superordinateurs sur du matériel Nvidia et a levé des centaines de millions de dollars, avec des bailleurs de fonds dont Eric Schmidt. Pour mesurer les progrès au-delà des références faciles à mémoriser, Magic a créé HashHop, une évaluation utilisant des chaînes de hachage aléatoires qu'un modèle ne peut pas simplement rappeler de l'entraînement, forçant ainsi une véritable récupération de contexte long.
Aperçu technique
L'attention du transformateur standard évolue quadratiquement avec la longueur de la séquence, ce qui rend les contextes de 100 millions de jetons prohibitifs avec des méthodes naïves. Magic rapporte que son algorithme LTM-2-mini séquence-dimension est considérablement moins cher par jeton qu'une telle approche, permettant un contexte ultra-long à un prix abordable. Le benchmark HashHop remplace les indices sémantiques par des paires de hachage aléatoires et incompressibles. La seule façon de répondre est donc de récupérer et de chaîner les informations dans toute la fenêtre contextuelle – un test beaucoup plus strict de capacité à utiliser un contexte long.
Impact stratégique
Stratégie du fournisseur
Les feuilles de route des fournisseurs influencent les fonctionnalités que votre équipe peut ensuite créer.
Coût et budget
Les conditions commerciales et les options de déploiement affectent les coûts et les risques à long terme.
Risques et sécurité
Les incitations des entreprises façonnent les défauts des produits, la posture de sécurité et l’ouverture.
L’avenir des modèles de code à contexte long de Magic AI
Si les modèles peuvent contenir et raisonner de manière fiable sur une base de code entière, les assistants d'IA passent de la suggestion d'extraits à l'exécution de refactorisations à l'échelle du projet, en traçant les bogues dans de nombreux fichiers et en implémentant des fonctionnalités qui touchent des dizaines de modules. Les défis ouverts consistent à maintenir une inférence de contexte ultra-longue rapide et bon marché et à prouver que le modèle utilise réellement le contexte distant plutôt que de l'ignorer. Attendez-vous à ce que des contextes longs et des flux de travail agents convergent vers des systèmes qui agissent comme de véritables collaborateurs en ingénierie logicielle.
Mise en œuvre dans le monde réel
Chargement d'un grand référentiel entier afin que le modèle puisse répondre aux questions sur la manière dont les modules distants interagissent.
Effectuer une refactorisation à l'échelle du projet où une modification dans l'interface d'un fichier est propagée correctement dans l'ensemble de la base de code.
Tracer un bogue dont la cause s'étend sur plusieurs fichiers en raisonnant sur l'ensemble du contexte à la fois plutôt que fichier par fichier.
Intégration à une base de code inconnue en demandant au modèle de résumer l'architecture en utilisant la source complète comme contexte.
Risques et garde-fous
Les annonces de lancement peuvent dépasser la stabilité des flux de production réels.
La tarification des API ou les changements de politique peuvent briser les hypothèses du jour au lendemain.
La dépendance à un seul fournisseur augmente les coûts de verrouillage et de migration.
Feuille de route de mise en œuvre
Évaluez les fournisseurs à l’aide de vos propres tâches et ensembles de données.
Vérifiez les conditions de confidentialité, de sécurité et juridiques avant l’intégration.
Maintenez un plan de secours entre les modèles ou les fournisseurs.
Surveillez les notes de version afin que les modifications de la feuille de route ne surprennent pas les équipes.
Continuez à explorer
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Magic AI Long-Context Code Models quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Guide suivant
Protocole de contexte de modèle
Questions fréquemment posées
What is Magic AI Long-Context Code Models?
Magic AI crée des modèles de génération de code frontière caractérisés par des fenêtres contextuelles extrêmement longues, permettant à un modèle de lire une base de code entière à la fois. C'est important car la compréhension du logiciel dépend du contexte, et un modèle pouvant contenir des millions de lignes en mémoire peut raisonner sur l'ensemble d'un projet plutôt que sur un seul fichier.
Qu’est-ce que Magic AI essaie principalement de construire ?
Magic vise à créer un ingénieur logiciel d'IA, pas seulement un outil de saisie semi-automatique.
Quelle taille de fenêtre contextuelle Magic a-t-il revendiqué pour ses modèles LTM ?
Magic a annoncé la prise en charge de fenêtres contextuelles pouvant contenir jusqu'à 100 millions de jetons, soit environ 10 millions de lignes de code.
Qu’est-ce que le HashHop ?
HashHop utilise des paires de hachage aléatoires et incompressibles, de sorte qu'un modèle doit véritablement récupérer et chaîner les informations dans tout le contexte.
Pourquoi l'attention naïve des transformateurs est-elle un problème pour les contextes de 100 millions de jetons ?
Le coût de l'attention standard augmente avec le carré de la longueur de la séquence, donc les contextes très longs sont extrêmement coûteux sans de meilleurs algorithmes.
Avec quelle entreprise Magic s’est-il associé en 2024 pour construire des supercalculateurs ?
Magic a annoncé un partenariat avec Google Cloud pour construire des superordinateurs sur du matériel Nvidia.