EleutherAI
EleutherAI este un colectiv de cercetare nonprofit care a fost pionierat de modele de limbaj mari open-source atunci când IA de frontieră era blocată în spatele zidurilor corporative.
Prezentare generală
It proved that a volunteer community could build and freely release models rivaling closed systems, reshaping who gets to participate in AI research.
Scufundare în profunzime
EleutherAI a început în iulie 2020 ca o comunitate Discord organizată de Connor Leahy, Sid Black și Leo Gao, urmărind inițial să reproducă GPT-3 de la OpenAI. Pentru a antrena astfel de modele, ei au construit și lansat mai întâi The Pile, un set de date de text de 825 GB care a devenit un corpus standard de antrenament deschis. Apoi au lansat GPT-Neo, GPT-J-6B și GPT-NeoX-20B cu 20 de miliarde de parametri, printre cele mai mari modele de limbă disponibile în mod deschis din vremea lor. Instrumentele lor, inclusiv biblioteca de instruire GPT-NeoX și LM Evaluation Harness, utilizate în întreaga industrie pentru benchmarking, au devenit infrastructură pe care alții au construit-o. În 2023, EleutherAI s-a oficializat ca institut de cercetare nonprofit, extinzându-se în interpretabilitate, aliniere și știința modului în care modelele învață.
Perspectivă tehnică
Modelele EleutherAI folosesc arhitectura decodorului cu transformator, dar GPT-J și GPT-NeoX au introdus opțiuni practice de inginerie, cum ar fi Rotary Positional Embeddings (RoPE) pentru codificarea pozițiilor jetonelor și straturi paralelizate de atenție plus feedforward pentru a accelera antrenamentul. În mod esențial, s-au instruit despre TPU-uri și GPU-uri donate prin parteneriate precum Google TPU Research Cloud și CoreWeave, arătând că calcularea distribuită, finanțată de sponsor, ar putea înlocui un centru de date corporativ atunci când este asociat cu cod deschis.
Impact strategic
Strategia furnizorului
Foile de parcurs ale furnizorilor influențează caracteristicile pe care echipa ta le poate construi în continuare.
Cost și buget
Condițiile comerciale și opțiunile de implementare afectează costurile și riscurile pe termen lung.
Risc și siguranță
Stimulentele companiei modelează valorile implicite ale produselor, postura de siguranță și deschiderea.
Viitorul lui EleutherAI
EleutherAI trece de la o cursă pură de scalare a modelelor către interpretabilitate, transparență a datelor de instruire și evaluare riguroasă, domenii în care știința deschisă este cea mai necesară. Așteptați-vă la continuarea muncii pentru înțelegerea a ceea ce reprezintă modelele la nivel intern, eliberarea de seturi de date bine documentate și sprijinirea cercetării independente în materie de siguranță. Pe măsură ce laboratoarele de frontieră devin din ce în ce mai secrete, rolul EleutherAI ca o contrapondere de interes public, antrenând următoarea generație de cercetători, contează probabil mai mult decât numărul de parametri ai oricărui model pe care îl livrează.
Implementare în lumea reală
Setul de date Pile este folosit de cercetătorii din întreaga lume pentru a instrui și a studia modele de limbaj deschis în mod reproductibil.
GPT-J-6B și GPT-NeoX-20B sunt implementate de startup-uri și cadre universitare ca alternative gratuite la modelele comerciale API.
Harnessul de evaluare LM este instrumentul standard pe care multe laboratoare îl folosesc pentru a evalua performanța modelului în sute de sarcini.
Cercetătorii independenți de siguranță și interpretabilitate folosesc greutățile deschise ale EleutherAI pentru a studia elementele interne ale modelului care ascund API-urile închise.
Riscuri și balustrade
Anunțurile de lansare pot depăși stabilitatea în fluxurile de producție reale.
Prețurile API sau schimbările de politică pot rupe ipoteze peste noapte.
Dependența de un singur furnizor crește costurile de blocare și migrare.
Foaia de parcurs de implementare
Evaluați furnizorii folosind propriile sarcini și seturi de date.
Examinați confidențialitatea, securitatea și condițiile legale înainte de integrare.
Mențineți un plan alternativ pentru modele sau furnizori.
Monitorizați notele de lansare, astfel încât modificările foii de parcurs să nu surprindă echipele.
Continuați să explorați
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the EleutherAI quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Următorul ghid
Greutăți și părtiniri
Întrebări frecvente
What is EleutherAI?
EleutherAI este un colectiv de cercetare nonprofit care a fost pionierat de modele de limbaj mari open-source atunci când IA de frontieră era blocată în spatele zidurilor corporative. S-a dovedit că o comunitate de voluntari ar putea construi și lansa liber modele care rivalizează cu sistemele închise, remodelând cine poate participa la cercetarea AI.
Cum a început EleutherAI în 2020?
EleutherAI a început ca un colectiv informal de voluntari Discord, organizat pentru a reproduce GPT-3, închis atunci.
Ce este „The Pile”?
The Pile este un corpus de text mare, divers, lansat în mod deschis, EleutherAI, construit pentru a instrui și a studia modele lingvistice.
Care dintre acestea este un model de limbaj EleutherAI?
GPT-NeoX-20B este unul dintre modelele de vârf deschise ale EleutherAI; celelalte provin de la Google sau Meta.
Pentru ce se folosește Harnașul de evaluare LM?
Harnamentul este un instrument deschis adoptat pe scară largă pentru evaluarea standardizată a modelelor lingvistice pe sute de criterii de referință.
Cum a obținut EleutherAI calcularea pentru a antrena modele mari de la început?
Neavând un centru de date corporativ, EleutherAI s-a bazat pe resursele TPU și GPU donate de sponsor pentru a-și antrena modelele.