BigScience e il modello BLOOM
BigScience è stata una collaborazione di ricerca aperta durata un anno di oltre 1.000 ricercatori che ha prodotto BLOOM, uno dei primi modelli linguistici di grandi dimensioni veramente multilingue e rilasciati apertamente.
Panoramica
It matters as a landmark in transparent, community-driven AI built outside Big Tech.
Immersione profonda
BigScience è stato un seminario di ricerca della durata di un anno, dal 2021 al 2022, coordinato da Hugging Face e che ha riunito più di 1.000 ricercatori volontari provenienti da oltre 60 paesi e 250 istituzioni. Il suo risultato principale, pubblicato nel luglio 2022, è stato BLOOM, un modello linguistico autoregressivo da 176 miliardi di parametri. BLOOM è stato deliberatamente multilingue, formato sul corpus ROOTS che copre 46 lingue naturali e 13 linguaggi di programmazione, con una forte rappresentanza di lingue sottorappresentate come diverse lingue africane e dell'Asia meridionale. La formazione è durata diversi mesi sul supercomputer Jean Zay, finanziato con fondi pubblici in Francia, utilizzando circa 384 GPU. BLOOM è stato rilasciato sotto la licenza AI responsabile con la documentazione completa dei dati, della formazione e degli usi previsti, in netto contrasto con lo sviluppo chiuso di modelli comparabili.
Approfondimento tecnico
BLOOM è un trasformatore solo decodificatore di scala simile a GPT-3, che utilizza incorporamenti posizionali ALiBi invece di vettori di posizione appresi, il che lo aiuta a estrapolare sequenze più lunghe rispetto a quelle viste nell'addestramento. Applica inoltre una normalizzazione del livello di incorporamento che ha migliorato la stabilità dell'addestramento su larga scala. Il corpus multilingue ROOTS è stato attentamente assemblato e documentato in modo che il mix linguistico e le fonti dei dati fossero trasparenti e verificabili, un deliberato allontanamento dagli opachi set di dati raschiati.
Impatto strategico
Strategia del fornitore
Le roadmap dei fornitori influenzano le funzionalità che il tuo team può sviluppare successivamente.
Costo e budget
I termini commerciali e le opzioni di implementazione influiscono sui costi e sui rischi a lungo termine.
Rischio e sicurezza
Gli incentivi aziendali modellano le impostazioni predefinite dei prodotti, la postura di sicurezza e l’apertura.
Il futuro di BigScience e il modello BLOOM
BigScience ha dimostrato che un’intelligenza artificiale governata apertamente e su larga scala è possibile, e il suo modello ha influenzato i successivi rilasci aperti e la più ampia spinta alla trasparenza. Il futuro lavoro multilingue probabilmente si baserà sulle lezioni apprese nella documentazione dei dati e nella copertura linguistica inclusiva, mentre modelli più nuovi e più efficienti hanno superato BLOOM in termini di capacità grezze. La sua eredità duratura è la norma di pubblicare schede modello, dichiarazioni di dati e licenze responsabili, oltre alla prova che il calcolo pubblico può addestrare modelli su scala di frontiera.
Implementazione nel mondo reale
Generazione e completamento di testi in dozzine di lingue, comprese quelle scarsamente servite dai modelli commerciali
Fungere da base di ricerca aperta per studiare pregiudizi, trasferimento multilingue e comportamento di ridimensionamento
Perfezionamento in varianti specifiche per attività o che seguono istruzioni come BLOOMZ per le comunità non inglesi
Fornire un modello completamente documentato per gli accademici che studiano la provenienza dei dati di formazione e le licenze di intelligenza artificiale responsabile
Rischi e guardrail
Gli annunci di lancio potrebbero superare la stabilità nei flussi di lavoro di produzione reali.
I prezzi delle API o i cambiamenti politici possono infrangere le ipotesi da un giorno all’altro.
La dipendenza da un unico fornitore aumenta i costi di lock-in e di migrazione.
Tabella di marcia per l'implementazione
Valuta i fornitori utilizzando le tue attività e i tuoi set di dati.
Esamina la privacy, la sicurezza e i termini legali prima dell'integrazione.
Mantenere un piano di riserva tra modelli o fornitori.
Monitora le note di rilascio in modo che le modifiche alla roadmap non sorprendano i team.
Continua a esplorare
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the BigScience and the BLOOM Model quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Prossima guida
Modelli di codice a contesto lungo di Magic AI
Domande frequenti
What is BigScience and the BLOOM Model?
BigScience è stata una collaborazione di ricerca aperta durata un anno di oltre 1.000 ricercatori che ha prodotto BLOOM, uno dei primi modelli linguistici di grandi dimensioni veramente multilingue e rilasciati apertamente. È importante come punto di riferimento nell’intelligenza artificiale trasparente e guidata dalla comunità, costruita al di fuori delle Big Tech.
Qual era l'obiettivo principale che distingueva il modello BLOOM rispetto ai modelli di dimensioni simili del suo tempo?
BLOOM è stato progettato per essere veramente multilingue ed è stato rilasciato apertamente con una documentazione completa, a differenza dei modelli chiusi di scala comparabile.
Quanti parametri ha approssimativamente BLOOM?
BLOOM è un modello da 176 miliardi di parametri, che lo colloca su una scala simile a GPT-3.
Quanti linguaggi naturali è stato addestrato a gestire BLOOM?
Il corpus di formazione ROOTS di BLOOM copriva 46 linguaggi naturali più 13 linguaggi di programmazione.
Quale organizzazione ha coordinato la collaborazione con BigScience?
Hugging Face ha coordinato BigScience, un workshop di oltre 1.000 ricercatori volontari.
Dove si è formato BLOOM?
BLOOM è stato addestrato sul supercomputer Jean Zay in Francia, dimostrando che il calcolo pubblico potrebbe addestrare un modello su scala di frontiera.