GUIDA alle aziende
EleutherAI
EleutherAI è un collettivo di ricerca no-profit di base che ha aperto la strada a modelli linguistici di grandi dimensioni open source quando l'intelligenza artificiale di frontiera era bloccata dietro i muri aziendali.
Ascolta questa guidaNarrato dall'IA · ~2 min
In questa pagina2 minuti di lettura
Panoramica
Ha dimostrato che una comunità di volontari può costruire e rilasciare liberamente modelli che rivaleggiano con i sistemi chiusi, rimodellando chi può partecipare alla ricerca sull’intelligenza artificiale.
Immersione profonda
EleutherAI è nata nel luglio 2020 come comunità Discord organizzata da Connor Leahy, Sid Black e Leo Gao, originariamente con l'obiettivo di replicare GPT-3 di OpenAI. Per addestrare tali modelli, hanno prima creato e rilasciato The Pile, un set di dati di testo curato da 825 GB che è diventato un corpus di formazione aperto standard. Hanno quindi rilasciato GPT-Neo, GPT-J-6B e GPT-NeoX-20B da 20 miliardi di parametri, tra i più grandi modelli linguistici liberamente disponibili del loro tempo. I loro strumenti, tra cui la libreria di formazione GPT-NeoX e l'LM Evaluation Harness utilizzati in tutto il settore per il benchmarking, sono diventati infrastrutture su cui altri hanno costruito. Nel 2023 EleutherAI si è formalizzato come istituto di ricerca senza scopo di lucro, ampliando l'interpretazione, l'allineamento e la scienza del modo in cui i modelli apprendono.
Implementazione nel mondo reale
Il set di dati Pile viene utilizzato dai ricercatori di tutto il mondo per addestrare e studiare modelli di linguaggio aperto in modo riproducibile.
GPT-J-6B e GPT-NeoX-20B vengono distribuiti da startup e accademici come alternative gratuite ai modelli API commerciali.
L'LM Evaluation Harness è lo strumento standard utilizzato da molti laboratori per valutare le prestazioni del modello in centinaia di attività.
Ricercatori indipendenti in materia di sicurezza e interpretabilità utilizzano i pesi aperti di EleutherAI per studiare gli interni del modello nascosti dalle API chiuse.
Il futuro di EleutherAI
EleutherAI si sta spostando da una pura corsa alla scalabilità del modello verso l'interpretabilità, la trasparenza dei dati di addestramento e la valutazione rigorosa, aree in cui la scienza aperta è maggiormente necessaria. Aspettatevi un lavoro continuo per comprendere cosa rappresentano i modelli internamente, pubblicare set di dati ben documentati e supportare la ricerca indipendente sulla sicurezza. Man mano che i laboratori di frontiera diventano sempre più segreti, il ruolo di EleutherAI come contrappeso all’interesse pubblico, formando la prossima generazione di ricercatori, probabilmente conta più del conteggio dei parametri di ogni singolo modello fornito.
Metterlo in pratica
Perché è importante
- Strategia del fornitore. Le roadmap dei fornitori influenzano le funzionalità che il tuo team può sviluppare successivamente.
- Costo e budget. I termini commerciali e le opzioni di implementazione influiscono sui costi e sui rischi a lungo termine.
- Rischio e sicurezza. Gli incentivi aziendali modellano le impostazioni predefinite dei prodotti, la postura di sicurezza e l’apertura.
Attenzione
- Gli annunci di lancio potrebbero superare la stabilità nei flussi di lavoro di produzione reali.
- I prezzi delle API o i cambiamenti politici possono infrangere le ipotesi da un giorno all’altro.
- La dipendenza da un unico fornitore aumenta i costi di lock-in e di migrazione.
Prossimi passi
- Valuta i fornitori utilizzando le tue attività e i tuoi set di dati.
- Esamina la privacy, la sicurezza e i termini legali prima dell'integrazione.
- Mantenere un piano di riserva tra modelli o fornitori.
- Monitora le note di rilascio in modo che le modifiche alla roadmap non sorprendano i team.
Continua a esplorare
Newsletter gratuita
Ricevi il briefing quotidiano sull'IA
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Take the EleutherAI quiz
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Domande frequenti
Cos'è EleutherAI?
EleutherAI è un collettivo di ricerca no-profit di base che ha aperto la strada a modelli linguistici di grandi dimensioni open source quando l'intelligenza artificiale di frontiera era bloccata dietro i muri aziendali. Ha dimostrato che una comunità di volontari può costruire e rilasciare liberamente modelli che rivaleggiano con i sistemi chiusi, rimodellando chi può partecipare alla ricerca sull’intelligenza artificiale.
How did EleutherAI first bring together its research community?
EleutherAI’s history page describes it as beginning in July 2020 as a Discord server for discussing GPT-3 and open language models.
Cos'è "La Pila"?
The Pile è un corpus di testi ampio, diversificato e pubblicato apertamente, creato da EleutherAI per addestrare e studiare modelli linguistici.
Quale di questi è un modello linguistico EleutherAI?
GPT-NeoX-20B è uno dei modelli aperti di punta di EleutherAI; gli altri provengono da Google o Meta.
A cosa serve il cablaggio di valutazione LM?
L'imbracatura è uno strumento aperto ampiamente adottato per la valutazione standardizzata di modelli linguistici su centinaia di benchmark.
Which organizations are named in EleutherAI’s retrospective as research supporters?
EleutherAI’s paper on open research acknowledges support and contributions from CoreWeave and TPU Research Cloud, among other supporters.
Continua a imparare
Guide correlate
Altre guide selezionate per questo argomento