Laboratoires AI21
AI21 Labs est une société israélienne d'IA qui construit de grands modèles de langage (les familles Jurassic et Jamba) et des outils d'entreprise, ainsi que l'assistant d'écriture grand public Wordtune.
Aperçu
It matters for pioneering the Mamba-Transformer hybrid 'Jamba' architecture and for focusing on reliable, grounded AI for business rather than chasing consumer hype.
Plongée profonde
Fondé en 2017 à Tel Aviv par Yoav Shoham, Ori Goshen et Amnon Shashua (également co-fondateur de Mobileye), AI21 Labs a été l'un des premiers acteurs des grands modèles de langage avec sa série Jurassic, qui concurrençait les systèmes de l'ère GPT-3. Il a construit Wordtune, un outil populaire de réécriture et de grammaire de l'IA, et « AI21 Studio », une plate-forme de développement pour s'appuyer sur ses modèles. En 2024, il a publié Jamba, un modèle ouvert remarquable combinant le Transformer avec l'architecture d'espace d'état Mamba pour gérer efficacement un contexte très long. AI21 met l'accent sur les « modèles spécifiques à des tâches » et sur les techniques visant à réduire les hallucinations et à ancrer les réponses dans les sources, se positionnant ainsi comme un choix fiable pour les entreprises dans les domaines de la finance, du service client et des flux de travail lourds en documents.
Aperçu technique
L'innovation phare de Jamba est hybride : elle entrelace les couches d'attention standard de Transformer avec les couches d'espace d'état de Mamba et ajoute un composant de mélange d'experts. Les transformateurs excellent dans le raisonnement flexible, mais leur coût d'attention augmente quadratiquement avec la longueur de la séquence ; Les couches Mamba évoluent à peu près de manière linéaire, de sorte que le mélange gère des fenêtres contextuelles de centaines de milliers de jetons avec une utilisation de mémoire bien inférieure. Cela permet à Jamba d'ingérer de longs documents sur un seul GPU tout en conservant la qualité de raisonnement associée aux modèles basés sur l'attention.
Impact stratégique
Stratégie du fournisseur
Les feuilles de route des fournisseurs influencent les fonctionnalités que votre équipe peut ensuite créer.
Coût et budget
Les conditions commerciales et les options de déploiement affectent les coûts et les risques à long terme.
Risques et sécurité
Les incitations des entreprises façonnent les défauts des produits, la posture de sécurité et l’ouverture.
L'avenir des laboratoires AI21
AI21 s’appuie sur des architectures efficaces et à long terme et sur un déploiement d’entreprise fiable plutôt que sur la course aux chatbots grand public. Attendez-vous à un investissement continu dans des modèles hybrides d’état et d’espace comme Jamba, des systèmes agents qui planifient et appellent des outils, et des méthodes de mise à la terre qui citent des sources pour réduire les hallucinations. Alors que les entreprises exigent une inférence moins coûteuse sur des documents volumineux, le pari d'AI21 sur l'efficacité du Mamba-Transformer et les modèles contrôlables spécifiques à des tâches le positionne bien, bien qu'il soit en concurrence à la fois avec les challengers ouverts et les laboratoires frontières.
Mise en œuvre dans le monde réel
Utiliser Wordtune pour réécrire, raccourcir ou modifier le ton des e-mails et des documents
Alimenter l'intégralité d'un long contrat ou d'un rapport dans la grande fenêtre contextuelle de Jamba pour un résumé ou des questions et réponses.
Créer un assistant de support client sur AI21 Studio qui fonde les réponses dans la base de connaissances d'une entreprise
Déployer des modèles spécifiques à des tâches en finance pour extraire et résumer des informations à partir de dossiers denses
Risques et garde-fous
Les annonces de lancement peuvent dépasser la stabilité des flux de production réels.
La tarification des API ou les changements de politique peuvent briser les hypothèses du jour au lendemain.
La dépendance à un seul fournisseur augmente les coûts de verrouillage et de migration.
Feuille de route de mise en œuvre
Évaluez les fournisseurs à l’aide de vos propres tâches et ensembles de données.
Vérifiez les conditions de confidentialité, de sécurité et juridiques avant l’intégration.
Maintenez un plan de secours entre les modèles ou les fournisseurs.
Surveillez les notes de version afin que les modifications de la feuille de route ne surprennent pas les équipes.
Continuez à explorer
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the AI21 Labs quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Guide suivant
Laboratoires de la Forêt-Noire
Questions fréquemment posées
What is AI21 Labs?
AI21 Labs est une société israélienne d'IA qui construit de grands modèles de langage (les familles Jurassic et Jamba) et des outils d'entreprise, ainsi que l'assistant d'écriture grand public Wordtune. C'est important pour être le pionnier de l'architecture hybride « Jamba » de Mamba-Transformer et pour se concentrer sur une IA fiable et fondée pour les entreprises plutôt que de courir après le battage médiatique des consommateurs.
Le modèle Jamba d'AI21 Labs se distingue par la combinaison du Transformer avec quelle autre architecture ?
Jamba entrelace les couches d'attention de Transformer avec les couches d'espace d'état Mamba (plus un mélange d'experts) pour une gestion efficace des contextes longs.
Quel est le principal avantage en termes d'efficacité de l'ajout de couches Mamba à un Transformer ?
Le coût d'attention du transformateur augmente de façon quadratique avec la longueur, tandis que les couches d'espace d'état Mamba évoluent de manière plus linéaire, permettant des contextes très longs avec moins de mémoire.
Quel outil de rédaction grand public populaire est créé par AI21 Labs ?
Wordtune, l'outil de réécriture et d'ajustement du ton basé sur l'IA d'AI21, est l'un de ses produits grand public les plus connus.
Quel co-fondateur d'AI21 Labs est également connu pour avoir co-fondé Mobileye ?
Amnon Shashua, co-fondateur d'AI21 Labs, a également cofondé la société de conduite autonome Mobileye.
Quel nom de famille portaient les premiers grands modèles de langage de l'ère GPT-3 d'AI21 ?
La première série LLM d'AI21 portait la marque « Jurassic », en concurrence avec les modèles de l'ère GPT-3 avant la dernière famille Jamba.