EleutherAI
EleutherAI är ett icke-vinstdrivande forskningskollektiv på gräsrotsnivå som banade väg för stora språkmodeller med öppen källkod när frontier AI låstes bakom företagets väggar.
Översikt
It proved that a volunteer community could build and freely release models rivaling closed systems, reshaping who gets to participate in AI research.
Djupdykning
EleutherAI började i juli 2020 som en Discord-gemenskap organiserad av Connor Leahy, Sid Black och Leo Gao, som ursprungligen syftade till att replikera OpenAIs GPT-3. För att träna sådana modeller byggde och släppte de först The Pile, en 825 GB kurerad textdatauppsättning som blev en standard öppen utbildningskorpus. De släppte sedan GPT-Neo, GPT-J-6B och GPT-NeoX-20B med 20 miljarder parametrar, bland de största öppet tillgängliga språkmodellerna på sin tid. Deras verktyg, inklusive GPT-NeoX-utbildningsbiblioteket och LM Evaluation Harness som används över hela branschen för benchmarking, blev infrastruktur som andra byggde på. 2023 formaliserade EleutherAI som ett ideellt forskningsinstitut, och breddade sig till tolkningsbarhet, anpassning och vetenskapen om hur modeller lär sig.
Teknisk insikt
EleutherAI:s modeller använder transformatoravkodararkitekturen, men GPT-J och GPT-NeoX introducerade praktiska tekniska val som Rotary Positional Embeddings (RoPE) för kodning av tokenpositioner och parallelliserade uppmärksamhet-plus-feedforward-lager för hastighetsträning. Det avgörande är att de tränade på TPU:er och GPU:er som donerats genom partnerskap som Googles TPU Research Cloud och CoreWeave, vilket visar att distribuerad, sponsorfinansierad dator kan ersätta ett företagsdatacenter när det paras ihop med öppen kod.
Strategisk inverkan
Vendor strategy
Leverantörsfärdplaner påverkar vilka funktioner ditt team kan bygga härnäst.
Cost and budget
Kommersiella villkor och distributionsalternativ påverkar långsiktiga kostnader och risker.
Risk and safety
Företagsincitament formar produktstandarder, säkerhetsställning och öppenhet.
Framtiden för EleutherAI
EleutherAI går från ett rent modellskalningslopp mot tolkningsbarhet, transparens för träningsdata och rigorös utvärdering, områden där öppen vetenskap är mest nödvändig. Förvänta dig fortsatt arbete med att förstå vilka modeller internt representerar, släppa väldokumenterade datauppsättningar och stödja oberoende säkerhetsforskning. När gränslaboratorier blir mer hemlighetsfulla spelar EleutherAI:s roll som en motvikt av allmänintresset, utbildning av nästa generations forskare, troligen mer än parameterantalet för någon enskild modell som den levererar.
Real-World Implementation
Pile-dataset används av forskare över hela världen för att träna och studera öppna språkmodeller på ett reproducerbart sätt.
GPT-J-6B och GPT-NeoX-20B distribueras av startups och akademiker som gratis alternativ till kommersiella API-modeller.
LM Evaluation Harness är standardverktyget som många labb använder för att jämföra modellprestanda för hundratals uppgifter.
Oberoende säkerhets- och tolkningsforskare använder EleutherAI:s öppna vikter för att studera interna modeller som stängda API:er gömmer sig.
Risker & skyddsräcken
Lanseringsmeddelanden kan överträffa stabiliteten i verkliga produktionsarbetsflöden.
API-prissättning eller policyförskjutningar kan bryta antaganden över en natt.
Beroende av en leverantör ökar inlåsnings- och migreringskostnaderna.
Färdplan för genomförande
Utvärdera leverantörer med dina egna uppgifter och datauppsättningar.
Granska sekretess, säkerhet och juridiska villkor innan integration.
Upprätthåll en reservplan över modeller eller leverantörer.
Övervaka release notes så att förändringar i färdplanen inte överraskar team.
Fortsätt utforska
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the EleutherAI quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Vikter & fördomar
Frequently asked questions
What is EleutherAI?
EleutherAI är ett icke-vinstdrivande forskningskollektiv på gräsrotsnivå som banade väg för stora språkmodeller med öppen källkod när frontier AI låstes bakom företagets väggar. Det bevisade att en volontärgemenskap kunde bygga och fritt släppa modeller som konkurrerar med slutna system, och omforma vem som får delta i AI-forskning.
Hur startade EleutherAI ursprungligen 2020?
EleutherAI började som ett informellt Discord-kollektiv av frivilliga organiserade för att replikera den då stängda GPT-3.
Vad är "The Pile"?
The Pile är en stor, mångsidig, öppet släppt textkorpus EleutherAI byggd för att träna och studera språkmodeller.
Vilken av dessa är en EleutherAI-språkmodell?
GPT-NeoX-20B är en av EleutherAI:s öppna flaggskeppsmodeller; de andra kommer från Google eller Meta.
Vad används LM-utvärderingsselen till?
Selen är ett allmänt antaget öppet verktyg för standardiserad utvärdering av språkmodeller på hundratals riktmärken.
Hur fick EleutherAI beräkningen för att träna stora modeller tidigt?
Eftersom EleutherAI saknade ett företagsdatacenter förlitade sig EleutherAI på sponsordonerade TPU- och GPU-resurser för att träna sina modeller.