EleutherAI
EleutherAI er et grasrot nonprofit forskningskollektiv som var banebrytende for store språkmodeller med åpen kildekode da frontier AI ble låst bak bedriftens vegger.
Oversikt
It proved that a volunteer community could build and freely release models rivaling closed systems, reshaping who gets to participate in AI research.
Dypdykk
EleutherAI startet i juli 2020 som et Discord-fellesskap organisert av Connor Leahy, Sid Black og Leo Gao, som opprinnelig hadde som mål å gjenskape OpenAIs GPT-3. For å trene slike modeller bygde og ga de først ut The Pile, et 825 GB kuratert tekstdatasett som ble et standard åpent treningskorpus. De ga deretter ut GPT-Neo, GPT-J-6B og GPT-NeoX-20B med 20 milliarder parametre, blant de største åpent tilgjengelige språkmodellene i sin tid. Verktøyene deres, inkludert treningsbiblioteket GPT-NeoX og LM Evaluation Harness som ble brukt over hele bransjen for benchmarking, ble infrastruktur som andre bygde på. I 2023 formaliserte EleutherAI seg som et nonprofit forskningsinstitutt, og utvidet seg til tolkningsmuligheter, tilpasning og vitenskapen om hvordan modeller lærer.
Teknisk innsikt
EleutherAIs modeller bruker transformator-dekoderarkitekturen, men GPT-J og GPT-NeoX introduserte praktiske ingeniørvalg som Rotary Positional Embeddings (RoPE) for koding av token-posisjoner og parallelliserte lag med oppmerksomhet pluss-forover for raskere trening. Det er avgjørende at de trente på TPU-er og GPU-er donert gjennom partnerskap som Googles TPU Research Cloud og CoreWeave, som viser at distribuert, sponsorfinansiert databehandling kan erstatte et bedriftsdatasenter når den er paret med åpen kode.
Strategisk innvirkning
Vendor strategy
Leverandørveikart påvirker hvilke funksjoner teamet ditt kan bygge videre.
Cost and budget
Kommersielle vilkår og distribusjonsalternativer påvirker langsiktige kostnader og risiko.
Risiko og sikkerhet
Selskapets insentiver former produktstandarder, sikkerhetsstilling og åpenhet.
Fremtiden til EleutherAI
EleutherAI skifter fra et rent modellskaleringsløp mot tolkbarhet, treningsdata-transparens og streng evaluering, områder der åpen vitenskap er mest nødvendig. Forvent fortsatt arbeid med å forstå hvilke modeller internt representerer, frigi veldokumenterte datasett og støtte uavhengig sikkerhetsforskning. Ettersom grenselaboratoriene blir mer hemmelighetsfulle, betyr EleutherAIs rolle som en motvekt av allmenn interesse, opplæring av neste generasjon forskere, sannsynligvis mer enn parameterantallet til en enkelt modell den sender.
Real-World Implementering
Pile-datasettet brukes av forskere over hele verden for å trene og studere åpne språkmodeller reproduserbart.
GPT-J-6B og GPT-NeoX-20B distribueres av startups og akademikere som gratis alternativer til kommersielle API-modeller.
LM Evaluation Harness er standardverktøyet mange laboratorier bruker for å måle modellytelse på tvers av hundrevis av oppgaver.
Uavhengige sikkerhets- og tolkningsforskere bruker EleutherAIs åpne vekter for å studere interne modeller som lukkede API-er skjuler.
Risikoer og rekkverk
Lanseringskunngjøringer kan overgå stabiliteten i ekte produksjonsarbeidsflyter.
API-priser eller endringer i retningslinjene kan bryte antagelser over natten.
Avhengighet av én leverandør øker kostnadene for innlåsing og migrering.
Veikart for implementering
Evaluer leverandører ved å bruke dine egne oppgaver og datasett.
Se gjennom personvern, sikkerhet og juridiske vilkår før integrering.
Oppretthold en reserveplan på tvers av modeller eller leverandører.
Overvåk utgivelsesnotater slik at endringer i veikart ikke overrasker teamene.
Fortsett å utforske
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the EleutherAI quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Neste guide
Vekter og skjevheter
Ofte stilte spørsmål
What is EleutherAI?
EleutherAI er et grasrot nonprofit forskningskollektiv som var banebrytende for store språkmodeller med åpen kildekode da frontier AI ble låst bak bedriftens vegger. Det beviste at et frivilligsamfunn kunne bygge og frigjøre modeller som konkurrerer med lukkede systemer, og omforme hvem som får delta i AI-forskning.
Hvordan startet EleutherAI opprinnelig i 2020?
EleutherAI begynte som et uformelt Discord-kollektiv av frivillige organisert for å gjenskape den da lukkede GPT-3.
Hva er 'The Pile'?
The Pile er et stort, mangfoldig, åpent utgitt tekstkorpus EleutherAI bygget for å trene og studere språkmodeller.
Hvilken av disse er en EleutherAI-språkmodell?
GPT-NeoX-20B er en av EleutherAIs flaggskip åpne modeller; de andre kommer fra Google eller Meta.
Hva brukes LM Evaluation Harness til?
Selen er et bredt brukt åpent verktøy for standardisert evaluering av språkmodeller på hundrevis av benchmarks.
Hvordan fikk EleutherAI datamaskinen for å trene store modeller tidlig?
I mangel av et bedriftsdatasenter, stolte EleutherAI på sponsordonerte TPU- og GPU-ressurser for å trene modellene sine.