Bedrijven GIDS
EleutherAI
EleutherAI is een grassroots non-profit onderzoekscollectief dat pionierde met open-source grote taalmodellen toen grensverleggende AI opgesloten zat achter bedrijfsmuren.
Luister naar deze gidsAI-verteld · ~2 min
Op deze pagina2 min lezen
Overzicht
Het bewees dat een vrijwilligersgemeenschap modellen kon bouwen en vrijelijk kon vrijgeven die met gesloten systemen wedijveren, waardoor een nieuwe vorm kon worden gegeven aan wie mag deelnemen aan AI-onderzoek.
Diepe duik
EleutherAI begon in juli 2020 als een Discord-gemeenschap, georganiseerd door Connor Leahy, Sid Black en Leo Gao, oorspronkelijk bedoeld om de GPT-3 van OpenAI te repliceren. Om dergelijke modellen te trainen, bouwden en brachten ze eerst The Pile uit, een samengestelde tekstdataset van 825 GB die een standaard open trainingscorpus werd. Vervolgens brachten ze GPT-Neo, GPT-J-6B en de GPT-NeoX-20B met 20 miljard parameters uit, een van de grootste openlijk beschikbare taalmodellen van hun tijd. Hun tools, waaronder de GPT-NeoX-trainingsbibliotheek en het LM Evaluation Harness dat in de hele sector wordt gebruikt voor benchmarking, werden een infrastructuur waarop anderen voortbouwden. In 2023 werd EleutherAI geformaliseerd als een non-profit onderzoeksinstituut, dat zich verbreedde naar interpreteerbaarheid, afstemming en de wetenschap van hoe modellen leren.
Implementatie in de echte wereld
De Pile-dataset wordt door onderzoekers over de hele wereld gebruikt om open taalmodellen reproduceerbaar te trainen en te bestuderen.
GPT-J-6B en GPT-NeoX-20B worden door startups en academici ingezet als gratis alternatieven voor commerciële API-modellen.
Het LM Evaluation Harness is het standaardhulpmiddel dat veel laboratoria gebruiken om de modelprestaties voor honderden taken te benchmarken.
Onafhankelijke veiligheids- en interpreteerbaarheidsonderzoekers gebruiken de open gewichten van EleutherAI om de interne onderdelen van modellen te bestuderen die verborgen API's verbergen.
De toekomst van EleutherAI
EleutherAI verschuift van een pure race om modellen op te schalen naar interpreteerbaarheid, transparantie van trainingsgegevens en rigoureuze evaluatie, gebieden waar open wetenschap het meest nodig is. Verwacht blijvend werk aan het begrijpen van wat modellen intern vertegenwoordigen, het vrijgeven van goed gedocumenteerde datasets en het ondersteunen van onafhankelijk veiligheidsonderzoek. Naarmate grenslaboratoria geheimzinniger worden, is de rol van EleutherAI als tegengewicht van algemeen belang, bij het opleiden van de volgende generatie onderzoekers, waarschijnlijk belangrijker dan het aantal parameters van welk afzonderlijk model het ook verzendt.
Het in de praktijk brengen
Waarom het ertoe doet
- Leveranciersstrategie. Roadmaps van leveranciers beïnvloeden welke functies uw team vervolgens kan bouwen.
- Kosten en budget. Commerciële voorwaarden en implementatieopties zijn van invloed op de kosten en risico's op de lange termijn.
- Risico en veiligheid. Bedrijfsprikkels bepalen productgebreken, veiligheidshouding en openheid.
Pas op voor
- Lanceringsaankondigingen kunnen de stabiliteit in echte productieworkflows overtreffen.
- API-prijzen of beleidswijzigingen kunnen van de ene op de andere dag de aannames doorbreken.
- De afhankelijkheid van één leverancier verhoogt de lock-in- en migratiekosten.
Volgende stappen
- Evalueer providers met behulp van uw eigen taken en datasets.
- Controleer de privacy-, beveiligings- en juridische voorwaarden vóór de integratie.
- Onderhoud een noodplan voor alle modellen of leveranciers.
- Houd de release-opmerkingen in de gaten, zodat wijzigingen in de routekaart teams niet verrassen.
Blijf verkennen
Gratis nieuwsbrief
Ontvang de dagelijkse AI-briefing
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Take the EleutherAI quiz
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Veelgestelde vragen
Wat is EleutherAI?
EleutherAI is een grassroots non-profit onderzoekscollectief dat pionierde met open-source grote taalmodellen toen grensverleggende AI opgesloten zat achter bedrijfsmuren. Het bewees dat een vrijwilligersgemeenschap modellen kon bouwen en vrijelijk kon vrijgeven die rivaliseren met gesloten systemen, waardoor een nieuwe vorm kon worden gegeven aan wie mag deelnemen aan AI-onderzoek.
How did EleutherAI first bring together its research community?
EleutherAI’s history page describes it as beginning in July 2020 as a Discord server for discussing GPT-3 and open language models.
Wat is 'De Stapel'?
The Pile is een groot, divers, openlijk vrijgegeven tekstcorpus van EleutherAI, gebouwd om taalmodellen te trainen en te bestuderen.
Welke van deze is een EleutherAI-taalmodel?
GPT-NeoX-20B is een van EleutherAI's vlaggenschip open modellen; de anderen komen van Google of Meta.
Waar wordt het LM Evaluatieharnas voor gebruikt?
Het harnas is een algemeen aanvaard open hulpmiddel voor de gestandaardiseerde evaluatie van taalmodellen op honderden benchmarks.
Which organizations are named in EleutherAI’s retrospective as research supporters?
EleutherAI’s paper on open research acknowledges support and contributions from CoreWeave and TPU Research Cloud, among other supporters.
Blijf leren
Gerelateerde gidsen
Er zijn meer handleidingen voor dit onderwerp geselecteerd