BigScience și modelul BLOOM
BigScience a fost o colaborare deschisă de un an de cercetare a peste 1.000 de cercetători care a produs BLOOM, unul dintre primele modele de limbi mari cu adevărat multilingve, lansate în mod deschis.
Prezentare generală
It matters as a landmark in transparent, community-driven AI built outside Big Tech.
Scufundare în profunzime
BigScience a fost un atelier de cercetare de un an, care se desfășoară între 2021 și 2022, coordonat de Hugging Face și care a reunit peste 1.000 de cercetători voluntari din peste 60 de țări și 250 de instituții. Ieșirea sa principală, lansată în iulie 2022, a fost BLOOM, un model de limbaj autoregresiv cu 176 de miliarde de parametri. BLOOM a fost în mod deliberat multilingv, instruit pe corpus ROOTS acoperind 46 de limbaje naturale și 13 limbaje de programare, cu o reprezentare puternică a limbilor subreprezentate, cum ar fi mai multe limbi africane și din Asia de Sud. Instruirea s-a desfășurat timp de câteva luni pe supercomputerul Jean Zay, finanțat din fonduri publice, în Franța, folosind aproximativ 384 de GPU. BLOOM a fost lansat sub licența Responsible AI cu documentația completă a datelor, a instruirii și a utilizărilor prevăzute, contrastând puternic cu dezvoltarea închisă a modelelor comparabile.
Perspectivă tehnică
BLOOM este un transformator numai pentru decodor, de o scară similară cu GPT-3, care utilizează înglobări poziționale ALiBi în loc de vectori de poziție învățați, ceea ce îl ajută să extrapoleze la secvențe mai lungi decât cele observate la antrenament. De asemenea, aplică o normalizare a stratului de încorporare care a îmbunătățit stabilitatea antrenamentului la scară. Corpusul multilingv ROOTS a fost atent asamblat și documentat, astfel încât mixul de limbi și sursele de date să fie transparente și auditabile, o abatere deliberată de la seturile de date opace.
Impact strategic
Strategia furnizorului
Foile de parcurs ale furnizorilor influențează caracteristicile pe care echipa ta le poate construi în continuare.
Cost și buget
Condițiile comerciale și opțiunile de implementare afectează costurile și riscurile pe termen lung.
Risc și siguranță
Stimulentele companiei modelează valorile implicite ale produselor, postura de siguranță și deschiderea.
Viitorul BigScience și modelul BLOOM
BigScience a demonstrat că IA la scară largă, guvernată în mod deschis este posibilă, iar modelul său a influențat lansările deschise ulterioare și impulsul mai amplu pentru transparență. Lucrările viitoare în mai multe limbi se vor baza probabil pe lecțiile sale în documentarea datelor și acoperirea incluzivă a limbii, în timp ce modelele mai noi și mai eficiente au depășit BLOOM în ceea ce privește capacitatea brută. Moștenirea sa de durată este norma publicării cardurilor model, declarațiilor de date și licențelor responsabile, plus dovada că calculul public poate antrena modele la scară de frontieră.
Implementare în lumea reală
Generarea și completarea textului în zeci de limbi, inclusiv cele nedeservite de modelele comerciale
Servind ca bază de cercetare deschisă pentru studiul părtinirii, transferului multilingv și comportamentului de scalare
Ajustare fină în variante specifice sarcinii sau care urmează instrucțiuni, cum ar fi BLOOMZ pentru comunitățile non-engleze
Furnizarea unui model complet documentat pentru cadrele universitare care studiază proveniența datelor de formare și licențierea AI responsabilă
Riscuri și balustrade
Anunțurile de lansare pot depăși stabilitatea în fluxurile de producție reale.
Prețurile API sau schimbările de politică pot rupe ipoteze peste noapte.
Dependența de un singur furnizor crește costurile de blocare și migrare.
Foaia de parcurs de implementare
Evaluați furnizorii folosind propriile sarcini și seturi de date.
Examinați confidențialitatea, securitatea și condițiile legale înainte de integrare.
Mențineți un plan alternativ pentru modele sau furnizori.
Monitorizați notele de lansare, astfel încât modificările foii de parcurs să nu surprindă echipele.
Continuați să explorați
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the BigScience and the BLOOM Model quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Următorul ghid
Modele de coduri în context lung Magic AI
Întrebări frecvente
What is BigScience and the BLOOM Model?
BigScience a fost o colaborare deschisă de un an de cercetare a peste 1.000 de cercetători care a produs BLOOM, unul dintre primele modele de limbi mari cu adevărat multilingve, lansate în mod deschis. Contează ca un reper în IA transparentă, condusă de comunitate, construită în afara Big Tech.
Care a fost obiectivul distinctiv principal al modelului BLOOM în comparație cu modelele de dimensiuni similare ale vremii?
BLOOM a fost conceput pentru a fi cu adevărat multilingv și a fost lansat în mod deschis cu documentație completă, spre deosebire de modelele închise de o scară comparabilă.
Aproximativ câți parametri are BLOOM?
BLOOM este un model cu 176 de miliarde de parametri, plasându-l la o scară similară cu GPT-3.
Câte limbi naturale a fost instruit să se ocupe de BLOOM?
Corpul de instruire ROOTS al lui BLOOM a acoperit 46 de limbaje naturale plus 13 limbaje de programare.
Ce organizație a coordonat colaborarea BigScience?
Hugging Face a coordonat BigScience, un atelier de peste 1.000 de cercetători voluntari.
Unde a fost antrenat BLOOM?
BLOOM a fost instruit pe supercomputerul Jean Zay din Franța, demonstrând că calculul public ar putea antrena un model la scară de frontieră.