EleutherAI
EleutherAI is een grassroots non-profit onderzoekscollectief dat pionierde met open-source grote taalmodellen toen grensverleggende AI opgesloten zat achter bedrijfsmuren.
Overzicht
It proved that a volunteer community could build and freely release models rivaling closed systems, reshaping who gets to participate in AI research.
Diepe duik
EleutherAI begon in juli 2020 als een Discord-gemeenschap, georganiseerd door Connor Leahy, Sid Black en Leo Gao, oorspronkelijk bedoeld om de GPT-3 van OpenAI te repliceren. Om dergelijke modellen te trainen, bouwden en brachten ze eerst The Pile uit, een samengestelde tekstdataset van 825 GB die een standaard open trainingscorpus werd. Vervolgens brachten ze GPT-Neo, GPT-J-6B en de GPT-NeoX-20B met 20 miljard parameters uit, een van de grootste openlijk beschikbare taalmodellen van hun tijd. Hun tools, waaronder de GPT-NeoX-trainingsbibliotheek en het LM Evaluation Harness dat in de hele sector wordt gebruikt voor benchmarking, werden een infrastructuur waarop anderen voortbouwden. In 2023 werd EleutherAI geformaliseerd als een non-profit onderzoeksinstituut, dat zich verbreedde naar interpreteerbaarheid, afstemming en de wetenschap van hoe modellen leren.
Technisch inzicht
De modellen van EleutherAI maken gebruik van de transformatordecoderarchitectuur, maar GPT-J en GPT-NeoX introduceerden praktische technische keuzes zoals Rotary Positional Embeddings (RoPE) voor het coderen van tokenposities en parallelle aandacht-plus-feedforward-lagen om de training te versnellen. Cruciaal was dat ze trainden op TPU's en GPU's die werden gedoneerd via partnerschappen als Google's TPU Research Cloud en CoreWeave, waaruit bleek dat gedistribueerde, door sponsors gefinancierde rekenkracht de plaats zou kunnen innemen van een bedrijfsdatacenter in combinatie met open code.
Strategische impact
Vendor strategy
Roadmaps van leveranciers beïnvloeden welke functies uw team vervolgens kan bouwen.
Cost and budget
Commerciële voorwaarden en implementatieopties zijn van invloed op de kosten en risico's op de lange termijn.
Risk and safety
Bedrijfsprikkels bepalen productgebreken, veiligheidshouding en openheid.
De toekomst van EleutherAI
EleutherAI verschuift van een pure race om modellen op te schalen naar interpreteerbaarheid, transparantie van trainingsgegevens en rigoureuze evaluatie, gebieden waar open wetenschap het meest nodig is. Verwacht blijvend werk aan het begrijpen van wat modellen intern vertegenwoordigen, het vrijgeven van goed gedocumenteerde datasets en het ondersteunen van onafhankelijk veiligheidsonderzoek. Naarmate grenslaboratoria geheimzinniger worden, is de rol van EleutherAI als tegengewicht van algemeen belang, bij het opleiden van de volgende generatie onderzoekers, waarschijnlijk belangrijker dan het aantal parameters van welk afzonderlijk model het ook verzendt.
Implementatie in de echte wereld
De Pile-dataset wordt door onderzoekers over de hele wereld gebruikt om open taalmodellen reproduceerbaar te trainen en te bestuderen.
GPT-J-6B en GPT-NeoX-20B worden door startups en academici ingezet als gratis alternatieven voor commerciële API-modellen.
Het LM Evaluation Harness is het standaardhulpmiddel dat veel laboratoria gebruiken om de modelprestaties voor honderden taken te benchmarken.
Onafhankelijke veiligheids- en interpreteerbaarheidsonderzoekers gebruiken de open gewichten van EleutherAI om de interne onderdelen van modellen te bestuderen die verborgen API's verbergen.
Risico's en vangrails
Lanceringsaankondigingen kunnen de stabiliteit in echte productieworkflows overtreffen.
API-prijzen of beleidswijzigingen kunnen van de ene op de andere dag de aannames doorbreken.
De afhankelijkheid van één leverancier verhoogt de lock-in- en migratiekosten.
Implementatie routekaart
Evalueer providers met behulp van uw eigen taken en datasets.
Controleer de privacy-, beveiligings- en juridische voorwaarden vóór de integratie.
Onderhoud een noodplan voor alle modellen of leveranciers.
Houd de release-opmerkingen in de gaten, zodat wijzigingen in de routekaart teams niet verrassen.
Blijf verkennen
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the EleutherAI quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Gewichten en vooroordelen
Frequently asked questions
What is EleutherAI?
EleutherAI is een grassroots non-profit onderzoekscollectief dat pionierde met open-source grote taalmodellen toen grensverleggende AI opgesloten zat achter bedrijfsmuren. Het bewees dat een vrijwilligersgemeenschap modellen kon bouwen en vrijelijk kon vrijgeven die rivaliseren met gesloten systemen, waardoor een nieuwe vorm kon worden gegeven aan wie mag deelnemen aan AI-onderzoek.
Hoe is EleutherAI oorspronkelijk begonnen in 2020?
EleutherAI begon als een informeel Discord-collectief van vrijwilligers, georganiseerd om de toen gesloten GPT-3 te repliceren.
Wat is 'De Stapel'?
The Pile is een groot, divers, openlijk vrijgegeven tekstcorpus van EleutherAI, gebouwd om taalmodellen te trainen en te bestuderen.
Welke van deze is een EleutherAI-taalmodel?
GPT-NeoX-20B is een van EleutherAI's vlaggenschip open modellen; de anderen komen van Google of Meta.
Waar wordt het LM Evaluatieharnas voor gebruikt?
Het harnas is een algemeen aanvaard open hulpmiddel voor de gestandaardiseerde evaluatie van taalmodellen op honderden benchmarks.
Hoe heeft EleutherAI de rekenkracht verkregen om in een vroeg stadium grote modellen te trainen?
Bij gebrek aan een bedrijfsdatacenter vertrouwde EleutherAI op door sponsors gedoneerde TPU- en GPU-bronnen om zijn modellen te trainen.