Mai departeUrmătorul ghid
Modele de coduri în context lung Magic AI
Companii
GHID Firme
BigScience și modelul BLOOM
BLOOM is a 176-billion-parameter multilingual language model produced by the BigScience collaboration and released with its research documentation.
Ascultă acest ghidNarativ AI · ~2 min
Pe această pagină2 minute de lectură
Prezentare generală
Its ROOTS training corpus included natural and programming languages, making it a prominent open-access research model.
Scufundare în profunzime
The BigScience paper describes BLOOM as a decoder-only Transformer with 176 billion parameters. It was trained on ROOTS, a corpus assembled from hundreds of sources in 46 natural languages and 13 programming languages. The collaboration released the model and code under the Responsible AI License and documented data and training choices. Its open-access release supports research, but does not remove the need to consider the license, model limitations, or the represented language distribution.
Implementare în lumea reală
Generarea și completarea textului în zeci de limbi, inclusiv cele nedeservite de modelele comerciale
Servind ca bază de cercetare deschisă pentru studiul părtinirii, transferului multilingv și comportamentului de scalare
Ajustare fină în variante specifice sarcinii sau care urmează instrucțiuni, cum ar fi BLOOMZ pentru comunitățile non-engleze
Furnizarea unui model complet documentat pentru cadrele universitare care studiază proveniența datelor de formare și licențierea AI responsabilă
Viitorul BigScience și modelul BLOOM
BigScience a demonstrat că IA la scară largă, guvernată în mod deschis este posibilă, iar modelul său a influențat lansările deschise ulterioare și impulsul mai amplu pentru transparență. Lucrările viitoare în mai multe limbi se vor baza probabil pe lecțiile sale în documentarea datelor și acoperirea incluzivă a limbii, în timp ce modelele mai noi și mai eficiente au depășit BLOOM în ceea ce privește capacitatea brută. Moștenirea sa de durată este norma publicării cardurilor model, declarațiilor de date și licențelor responsabile, plus dovada că calculul public poate antrena modele la scară de frontieră.
Punând-o în practică
De ce contează
- Strategia furnizorului. Foile de parcurs ale furnizorilor influențează caracteristicile pe care echipa ta le poate construi în continuare.
- Cost și buget. Condițiile comerciale și opțiunile de implementare afectează costurile și riscurile pe termen lung.
- Risc și siguranță. Stimulentele companiei modelează valorile implicite ale produselor, postura de siguranță și deschiderea.
Atenție la
- Anunțurile de lansare pot depăși stabilitatea în fluxurile de producție reale.
- Prețurile API sau schimbările de politică pot rupe ipoteze peste noapte.
- Dependența de un singur furnizor crește costurile de blocare și migrare.
Următorii pași
- Evaluați furnizorii folosind propriile sarcini și seturi de date.
- Examinați confidențialitatea, securitatea și condițiile legale înainte de integrare.
- Mențineți un plan alternativ pentru modele sau furnizori.
- Monitorizați notele de lansare, astfel încât modificările foii de parcurs să nu surprindă echipele.
Continuați să explorați
Buletin gratuit
Primește briefingul zilnic AI
Trei povești AI verificate în fiecare dimineață de zi lucrătoare, scrise în engleză simplă. Gratuit pentru totdeauna, fără reclame.
Un e-mail în fiecare zi lucrătoare. Dezabonare cu un singur clic. Nu vindem niciodată și nu împărtășim adresa ta.
Testează-te
Take the BigScience and the BLOOM Model quiz
Feedback instantaneu la fiecare răspuns și un certificat partajabil cu un ID verificabil după ce parcurgi un curs.
Susține educația AI gratuită. AI Understanding este o organizație nonprofit 501(c)(3) — fără reclame, fără barieră de plată, pentru totdeauna. Fă o donație
Întrebări frecvente
Ce este BigScience și modelul BLOOM?
BLOOM is a 176-billion-parameter multilingual language model produced by the BigScience collaboration and released with its research documentation. Its ROOTS training corpus included natural and programming languages, making it a prominent open-access research model.
Care a fost obiectivul distinctiv principal al modelului BLOOM în comparație cu modelele de dimensiuni similare ale vremii?
BLOOM a fost conceput pentru a fi cu adevărat multilingv și a fost lansat în mod deschis cu documentație completă, spre deosebire de modelele închise de o scară comparabilă.
Aproximativ câți parametri are BLOOM?
BLOOM este un model cu 176 de miliarde de parametri, plasându-l la o scară similară cu GPT-3.
Câte limbi naturale a fost instruit să se ocupe de BLOOM?
Corpul de instruire ROOTS al lui BLOOM a acoperit 46 de limbaje naturale plus 13 limbaje de programare.
Ce organizație a coordonat colaborarea BigScience?
Hugging Face a coordonat BigScience, un atelier de peste 1.000 de cercetători voluntari.
Unde a fost antrenat BLOOM?
BLOOM a fost instruit pe supercomputerul Jean Zay din Franța, demonstrând că calculul public ar putea antrena un model la scară de frontieră.
Continuați să învățați
Ghiduri conexe
Mai multe ghiduri alese pentru acest subiect