EleutherAI
EleutherAI est un collectif de recherche à but non lucratif qui a été le pionnier des grands modèles de langage open source lorsque l'IA de pointe était enfermée derrière les murs des entreprises.
Aperçu
It proved that a volunteer community could build and freely release models rivaling closed systems, reshaping who gets to participate in AI research.
Plongée profonde
EleutherAI a débuté en juillet 2020 en tant que communauté Discord organisée par Connor Leahy, Sid Black et Leo Gao, visant à l'origine à reproduire le GPT-3 de OpenAI. Pour former de tels modèles, ils ont d'abord construit et publié The Pile, un ensemble de données textuelles de 825 Go qui est devenu un corpus de formation ouvert standard. Ils ont ensuite publié GPT-Neo, GPT-J-6B et GPT-NeoX-20B, dotés de 20 milliards de paramètres, parmi les plus grands modèles de langage ouvertement disponibles de leur époque. Leurs outils, notamment la bibliothèque de formation GPT-NeoX et le harnais d'évaluation LM utilisé à l'échelle de l'industrie pour l'analyse comparative, sont devenus une infrastructure sur laquelle d'autres se sont appuyés. En 2023, EleutherAI s'est formalisé en tant qu'institut de recherche à but non lucratif, s'étendant à l'interprétabilité, à l'alignement et à la science de la façon dont les modèles apprennent.
Aperçu technique
Les modèles d'EleutherAI utilisent l'architecture du décodeur de transformateur, mais GPT-J et GPT-NeoX ont introduit des choix d'ingénierie pratiques tels que les intégrations positionnelles rotatives (RoPE) pour coder les positions des jetons et les couches d'attention et de réaction parallélisées pour accélérer la formation. Surtout, ils se sont formés sur les TPU et les GPU donnés dans le cadre de partenariats tels que TPU Research Cloud et CoreWeave de Google, démontrant que le calcul distribué et financé par des sponsors pouvait remplacer un centre de données d'entreprise lorsqu'il était associé à du code ouvert.
Impact stratégique
Stratégie du fournisseur
Les feuilles de route des fournisseurs influencent les fonctionnalités que votre équipe peut ensuite créer.
Coût et budget
Les conditions commerciales et les options de déploiement affectent les coûts et les risques à long terme.
Risques et sécurité
Les incitations des entreprises façonnent les défauts des produits, la posture de sécurité et l’ouverture.
L'avenir d'EleutherAI
EleutherAI passe d'une pure course à la mise à l'échelle des modèles vers l'interprétabilité, la transparence des données de formation et l'évaluation rigoureuse, des domaines où la science ouverte est la plus nécessaire. Attendez-vous à un travail continu pour comprendre ce que représentent les modèles en interne, à la publication d’ensembles de données bien documentés et au soutien de recherches indépendantes sur la sécurité. Alors que les laboratoires frontaliers deviennent de plus en plus secrets, le rôle d'EleutherAI en tant que contrepoids à l'intérêt public, formant la prochaine génération de chercheurs, compte probablement plus que le nombre de paramètres de n'importe quel modèle unique qu'il expédie.
Mise en œuvre dans le monde réel
L'ensemble de données Pile est utilisé par des chercheurs du monde entier pour former et étudier de manière reproductible des modèles de langage ouvert.
GPT-J-6B et GPT-NeoX-20B sont déployés par des startups et des universitaires comme alternatives gratuites aux modèles d'API commerciaux.
Le harnais d'évaluation LM est l'outil standard utilisé par de nombreux laboratoires pour comparer les performances des modèles sur des centaines de tâches.
Des chercheurs indépendants en matière de sécurité et d'interprétabilité utilisent les pondérations ouvertes d'EleutherAI pour étudier les composants internes du modèle cachés par les API fermées.
Risques et garde-fous
Les annonces de lancement peuvent dépasser la stabilité des flux de production réels.
La tarification des API ou les changements de politique peuvent briser les hypothèses du jour au lendemain.
La dépendance à un seul fournisseur augmente les coûts de verrouillage et de migration.
Feuille de route de mise en œuvre
Évaluez les fournisseurs à l’aide de vos propres tâches et ensembles de données.
Vérifiez les conditions de confidentialité, de sécurité et juridiques avant l’intégration.
Maintenez un plan de secours entre les modèles ou les fournisseurs.
Surveillez les notes de version afin que les modifications de la feuille de route ne surprennent pas les équipes.
Continuez à explorer
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the EleutherAI quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Guide suivant
Pondérations et biais
Questions fréquemment posées
What is EleutherAI?
EleutherAI est un collectif de recherche à but non lucratif qui a été le pionnier des grands modèles de langage open source lorsque l'IA de pointe était enfermée derrière les murs des entreprises. Cela a prouvé qu’une communauté de bénévoles pouvait construire et publier librement des modèles rivalisant avec les systèmes fermés, redéfinissant ainsi les personnes pouvant participer à la recherche sur l’IA.
Comment EleutherAI a-t-il démarré en 2020 ?
EleutherAI a commencé comme un collectif Discord informel de bénévoles organisé pour reproduire le GPT-3 alors fermé.
Qu'est-ce que « La Pile » ?
The Pile est un corpus de textes vaste, diversifié et publié ouvertement par EleutherAI, conçu pour former et étudier des modèles de langage.
Lequel de ces modèles est un modèle de langage EleutherAI ?
GPT-NeoX-20B est l'un des modèles ouverts phares d'EleutherAI ; les autres viennent de Google ou Meta.
À quoi sert le harnais d’évaluation LM ?
Le harnais est un outil ouvert largement adopté pour l’évaluation standardisée des modèles de langage sur des centaines de tests.
Comment EleutherAI a-t-il obtenu le calcul nécessaire pour entraîner dès le début de grands modèles ?
Faute de centre de données d'entreprise, EleutherAI s'est appuyée sur les ressources TPU et GPU données par les sponsors pour entraîner ses modèles.