Famille modèle lama
Llama est la famille de Meta de grands modèles de langage ouverts que tout le monde peut télécharger, exécuter et affiner gratuitement.
Aperçu
By releasing the weights publicly, Meta turned Llama into the foundation for a huge open-source AI ecosystem.
Plongée profonde
Llama (Large Language Model Meta AI) est une série de modèles de langage basés sur des transformateurs développés par Meta. Le premier lama est arrivé début 2023 en tant que version de recherche ; Llama 2 (juillet 2023) a ajouté une licence permissive autorisant une utilisation commerciale, et Llama 3 et 3.1 (2024) ont connu une évolution spectaculaire, le modèle phare de 405 milliards de paramètres rivalisant avec les meilleurs systèmes propriétaires. Un trait déterminant est que Meta publie les poids du modèle, afin que les développeurs puissent exécuter Llama sur leur propre matériel, le personnaliser et éviter d'envoyer des données à une API externe. Cette ouverture a donné naissance à des milliers de modèles et d’outils dérivés. Les modèles de lamas sont disponibles en plusieurs tailles (de quelques milliards à des centaines de milliards de paramètres) et incluent des variantes de « chat » adaptées aux instructions aux côtés des modèles de base.
Aperçu technique
Les modèles de lamas sont des transformateurs uniquement par décodeur, entraînés pour prédire le prochain jeton sur des milliards de jetons de texte et de code. Ils utilisent des choix de conception axés sur l'efficacité tels que RMSNorm, l'activation SwiGLU, les intégrations positionnelles rotatives (RoPE) et l'attention aux requêtes groupées dans des versions plus grandes pour accélérer l'inférence. Les variantes adaptées aux instructions sont affinées davantage grâce à un réglage fin supervisé et à un apprentissage par renforcement à partir de la rétroaction humaine (RLHF) afin qu'elles suivent les invites de l'utilisateur et se comportent comme des assistants utiles.
Impact stratégique
Stratégie du fournisseur
Les feuilles de route des fournisseurs influencent les fonctionnalités que votre équipe peut ensuite créer.
Coût et budget
Les conditions commerciales et les options de déploiement affectent les coûts et les risques à long terme.
Risques et sécurité
Les incitations des entreprises façonnent les défauts des produits, la posture de sécurité et l’ouverture.
L’avenir de la famille modèle Lama
Meta pousse Llama vers des fenêtres contextuelles plus grandes, des capacités multilingues et multimodales plus fortes (des variantes compatibles avec la vision existent déjà) et une efficacité plus stricte sur l'appareil. Attendez-vous à des versions ouvertes continues qui font pression sur le marché plus large en termes de prix et d'accès, ainsi qu'à un écosystème croissant de variantes de Lama affinées et spécifiques à un domaine. Le débat sur ce que devrait signifier « ouvert », y compris les licences et les limites d'utilisation acceptables, continuera à déterminer la liberté d'utilisation de ces puissants poids.
Mise en œuvre dans le monde réel
Les startups et les chercheurs affinent Llama sur les données privées pour créer des chatbots personnalisés sans payer de frais d'API par jeton.
Les développeurs exécutent des modèles Llama plus petits localement sur des ordinateurs portables ou des serveurs pour les applications sensibles à la confidentialité où les données ne peuvent pas quitter le bâtiment.
Les entreprises utilisent Llama adapté aux instructions comme base pour les assistants de codage, les résumés et les outils de support client.
Les poids ouverts alimentent des projets communautaires comme Code Llama et d’innombrables dérivés de Hugging Face utilisés dans la recherche universitaire.
Risques et garde-fous
Les annonces de lancement peuvent dépasser la stabilité des flux de production réels.
La tarification des API ou les changements de politique peuvent briser les hypothèses du jour au lendemain.
La dépendance à un seul fournisseur augmente les coûts de verrouillage et de migration.
Feuille de route de mise en œuvre
Évaluez les fournisseurs à l’aide de vos propres tâches et ensembles de données.
Vérifiez les conditions de confidentialité, de sécurité et juridiques avant l’intégration.
Maintenez un plan de secours entre les modèles ou les fournisseurs.
Surveillez les notes de version afin que les modifications de la feuille de route ne surprennent pas les équipes.
Continuez à explorer
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Llama Model Family quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Guide suivant
Modèles de la Fondation NVIDIA Cosmos World
Questions fréquemment posées
What is Llama Model Family?
Llama est la famille de Meta de grands modèles de langage ouverts que tout le monde peut télécharger, exécuter et affiner gratuitement. En rendant publiques les pondérations, Meta a fait de Llama la base d'un vaste écosystème d'IA open source.
Qu’est-ce qui différencie considérablement la famille Llama de nombreux modèles concurrents ?
Le trait déterminant de Llama est que Meta publie les poids ouvertement, permettant aux développeurs d'exécuter, d'affiner et d'auto-héberger les modèles.
Que signifie l'acronyme « Lama » ?
Llama signifie Large Language Model Meta AI, reflétant à la fois son objectif et son créateur.
Quelle version de Llama a été la première à ajouter une licence autorisant une large utilisation commerciale ?
Llama 2, sorti en juillet 2023, était accompagné d'une licence plus permissive autorisant une utilisation commerciale, contrairement à la première version réservée à la recherche.
Quelle architecture sous-tend les modèles Llama ?
Les modèles de lama sont des transformateurs uniquement par décodeur, entraînés pour prédire le prochain jeton sur de grands corpus de texte et de code.
Comment les variantes de « chat » ou d'instructions de Llama sont-elles conçues pour suivre les invites des utilisateurs ?
Les modèles de lamas adaptés aux instructions sont affinés avec un réglage fin supervisé et RLHF afin qu'ils agissent comme des assistants utiles et rapides.