GUIDA alle aziende

BigScience e il modello BLOOM

BLOOM è un modello linguistico multilingue da 176 miliardi di parametri prodotto dalla collaborazione BigScience e rilasciato con la relativa documentazione di ricerca.

Ascolta questa guidaNarrato dall'IA · ~2 min

In questa pagina2 minuti di lettura
  1. Panoramica
  2. Immersione profonda
  3. Implementazione nel mondo reale
  4. Il futuro di BigScience e il modello BLOOM
  5. Metterlo in pratica
  6. Continua a esplorare
  7. Domande frequenti

Panoramica

Its ROOTS training corpus included natural and programming languages, making it a prominent open-access research model.

Immersione profonda

The BigScience paper describes BLOOM as a decoder-only Transformer with 176 billion parameters. It was trained on ROOTS, a corpus assembled from hundreds of sources in 46 natural languages and 13 programming languages. The collaboration released the model and code under the Responsible AI License and documented data and training choices. Its open-access release supports research, but does not remove the need to consider the license, model limitations, or the represented language distribution.

Implementazione nel mondo reale

Generazione e completamento di testi in dozzine di lingue, comprese quelle scarsamente servite dai modelli commerciali

Fungere da base di ricerca aperta per studiare pregiudizi, trasferimento multilingue e comportamento di ridimensionamento

Perfezionamento in varianti specifiche per attività o che seguono istruzioni come BLOOMZ per le comunità non inglesi

Fornire un modello completamente documentato per gli accademici che studiano la provenienza dei dati di formazione e le licenze di intelligenza artificiale responsabile

Il futuro di BigScience e il modello BLOOM

BigScience ha dimostrato che un’intelligenza artificiale governata apertamente e su larga scala è possibile, e il suo modello ha influenzato i successivi rilasci aperti e la più ampia spinta alla trasparenza. Il futuro lavoro multilingue probabilmente si baserà sulle lezioni apprese nella documentazione dei dati e nella copertura linguistica inclusiva, mentre modelli più nuovi e più efficienti hanno superato BLOOM in termini di capacità grezze. La sua eredità duratura è la norma di pubblicare schede modello, dichiarazioni di dati e licenze responsabili, oltre alla prova che il calcolo pubblico può addestrare modelli su scala di frontiera.

Metterlo in pratica

Perché è importante

  • Strategia del fornitore. Le roadmap dei fornitori influenzano le funzionalità che il tuo team può sviluppare successivamente.
  • Costo e budget. I termini commerciali e le opzioni di implementazione influiscono sui costi e sui rischi a lungo termine.
  • Rischio e sicurezza. Gli incentivi aziendali modellano le impostazioni predefinite dei prodotti, la postura di sicurezza e l’apertura.

Attenzione

  • Gli annunci di lancio potrebbero superare la stabilità nei flussi di lavoro di produzione reali.
  • I prezzi delle API o i cambiamenti politici possono infrangere le ipotesi da un giorno all’altro.
  • La dipendenza da un unico fornitore aumenta i costi di lock-in e di migrazione.

Prossimi passi

  1. Valuta i fornitori utilizzando le tue attività e i tuoi set di dati.
  2. Esamina la privacy, la sicurezza e i termini legali prima dell'integrazione.
  3. Mantenere un piano di riserva tra modelli o fornitori.
  4. Monitora le note di rilascio in modo che le modifiche alla roadmap non sorprendano i team.

Continua a esplorare

Newsletter gratuita

Ricevi il briefing quotidiano sull'IA

Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.

Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.

Mettiti alla prova

Take the BigScience and the BLOOM Model quiz

Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.

Inizia il quiz

Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione

Domande frequenti

What is BigScience and the BLOOM Model?

BLOOM is a 176-billion-parameter multilingual language model produced by the BigScience collaboration and released with its research documentation. Its ROOTS training corpus included natural and programming languages, making it a prominent open-access research model.

Qual era l'obiettivo principale che distingueva il modello BLOOM rispetto ai modelli di dimensioni simili del suo tempo?

BLOOM è stato progettato per essere veramente multilingue ed è stato rilasciato apertamente con una documentazione completa, a differenza dei modelli chiusi di scala comparabile.

Quanti parametri ha approssimativamente BLOOM?

BLOOM è un modello da 176 miliardi di parametri, che lo colloca su una scala simile a GPT-3.

Quanti linguaggi naturali è stato addestrato a gestire BLOOM?

Il corpus di formazione ROOTS di BLOOM copriva 46 linguaggi naturali più 13 linguaggi di programmazione.

Quale organizzazione ha coordinato la collaborazione con BigScience?

Hugging Face ha coordinato BigScience, un workshop di oltre 1.000 ricercatori volontari.

Dove si è formato BLOOM?

BLOOM è stato addestrato sul supercomputer Jean Zay in Francia, dimostrando che il calcolo pubblico potrebbe addestrare un modello su scala di frontiera.