EleutherAI
EleutherAI è un collettivo di ricerca no-profit di base che ha aperto la strada a modelli linguistici di grandi dimensioni open source quando l'intelligenza artificiale di frontiera era bloccata dietro i muri aziendali.
Panoramica
It proved that a volunteer community could build and freely release models rivaling closed systems, reshaping who gets to participate in AI research.
Immersione profonda
EleutherAI è nata nel luglio 2020 come comunità Discord organizzata da Connor Leahy, Sid Black e Leo Gao, originariamente con l'obiettivo di replicare GPT-3 di OpenAI. Per addestrare tali modelli, hanno prima creato e rilasciato The Pile, un set di dati di testo curato da 825 GB che è diventato un corpus di formazione aperto standard. Hanno quindi rilasciato GPT-Neo, GPT-J-6B e GPT-NeoX-20B da 20 miliardi di parametri, tra i più grandi modelli linguistici liberamente disponibili del loro tempo. I loro strumenti, tra cui la libreria di formazione GPT-NeoX e l'LM Evaluation Harness utilizzati in tutto il settore per il benchmarking, sono diventati infrastrutture su cui altri hanno costruito. Nel 2023 EleutherAI si è formalizzato come istituto di ricerca senza scopo di lucro, ampliando l'interpretazione, l'allineamento e la scienza del modo in cui i modelli apprendono.
Approfondimento tecnico
I modelli di EleutherAI utilizzano l'architettura del decodificatore del trasformatore, ma GPT-J e GPT-NeoX hanno introdotto scelte ingegneristiche pratiche come Rotary Positional Embeddings (RoPE) per codificare le posizioni dei token e livelli parallelizzati di attenzione e feedforward per accelerare l'addestramento. Fondamentalmente, si sono formati su TPU e GPU donate attraverso partnership come TPU Research Cloud e CoreWeave di Google, dimostrando che l'elaborazione distribuita e finanziata dagli sponsor potrebbe sostituire un data center aziendale se abbinata a codice aperto.
Impatto strategico
Strategia del fornitore
Le roadmap dei fornitori influenzano le funzionalità che il tuo team può sviluppare successivamente.
Costo e budget
I termini commerciali e le opzioni di implementazione influiscono sui costi e sui rischi a lungo termine.
Rischio e sicurezza
Gli incentivi aziendali modellano le impostazioni predefinite dei prodotti, la postura di sicurezza e l’apertura.
Il futuro di EleutherAI
EleutherAI si sta spostando da una pura corsa alla scalabilità del modello verso l'interpretabilità, la trasparenza dei dati di addestramento e la valutazione rigorosa, aree in cui la scienza aperta è maggiormente necessaria. Aspettatevi un lavoro continuo per comprendere cosa rappresentano i modelli internamente, pubblicare set di dati ben documentati e supportare la ricerca indipendente sulla sicurezza. Man mano che i laboratori di frontiera diventano sempre più segreti, il ruolo di EleutherAI come contrappeso all’interesse pubblico, formando la prossima generazione di ricercatori, probabilmente conta più del conteggio dei parametri di ogni singolo modello fornito.
Implementazione nel mondo reale
Il set di dati Pile viene utilizzato dai ricercatori di tutto il mondo per addestrare e studiare modelli di linguaggio aperto in modo riproducibile.
GPT-J-6B e GPT-NeoX-20B vengono distribuiti da startup e accademici come alternative gratuite ai modelli API commerciali.
L'LM Evaluation Harness è lo strumento standard utilizzato da molti laboratori per valutare le prestazioni del modello in centinaia di attività.
Ricercatori indipendenti in materia di sicurezza e interpretabilità utilizzano i pesi aperti di EleutherAI per studiare gli interni del modello nascosti dalle API chiuse.
Rischi e guardrail
Gli annunci di lancio potrebbero superare la stabilità nei flussi di lavoro di produzione reali.
I prezzi delle API o i cambiamenti politici possono infrangere le ipotesi da un giorno all’altro.
La dipendenza da un unico fornitore aumenta i costi di lock-in e di migrazione.
Tabella di marcia per l'implementazione
Valuta i fornitori utilizzando le tue attività e i tuoi set di dati.
Esamina la privacy, la sicurezza e i termini legali prima dell'integrazione.
Mantenere un piano di riserva tra modelli o fornitori.
Monitora le note di rilascio in modo che le modifiche alla roadmap non sorprendano i team.
Continua a esplorare
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the EleutherAI quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Prossima guida
Pesi e pregiudizi
Domande frequenti
What is EleutherAI?
EleutherAI è un collettivo di ricerca no-profit di base che ha aperto la strada a modelli linguistici di grandi dimensioni open source quando l'intelligenza artificiale di frontiera era bloccata dietro i muri aziendali. Ha dimostrato che una comunità di volontari può costruire e rilasciare liberamente modelli che rivaleggiano con i sistemi chiusi, rimodellando chi può partecipare alla ricerca sull’intelligenza artificiale.
Come è iniziato originariamente EleutherAI nel 2020?
EleutherAI è iniziato come un collettivo Discord informale di volontari organizzato per replicare l'allora chiuso GPT-3.
Cos'è "La Pila"?
The Pile è un corpus di testi ampio, diversificato e pubblicato apertamente, creato da EleutherAI per addestrare e studiare modelli linguistici.
Quale di questi è un modello linguistico EleutherAI?
GPT-NeoX-20B è uno dei modelli aperti di punta di EleutherAI; gli altri provengono da Google o Meta.
A cosa serve il cablaggio di valutazione LM?
L'imbracatura è uno strumento aperto ampiamente adottato per la valutazione standardizzata di modelli linguistici su centinaia di benchmark.
In che modo EleutherAI ha ottenuto il calcolo per addestrare modelli di grandi dimensioni nella fase iniziale?
In mancanza di un data center aziendale, EleutherAI si è affidata alle risorse TPU e GPU donate dagli sponsor per addestrare i suoi modelli.