Prezentare generală
BigScience a fost o colaborare deschisă de un an de cercetare a peste 1.000 de cercetători care a produs BLOOM, unul dintre primele modele de limbi mari cu adevărat multilingve, lansate în mod deschis. Contează ca un reper în IA transparentă, condusă de comunitate, construită în afara Big Tech.
BigScience și modelul BLOOM sunt cel mai bine înțelese în contextul strategiei, al accesului la model, al deciziilor de platformă și al parteneriatelor ecosistemice.
Deep Dive
BigScience a fost un atelier de cercetare de un an, care se desfășoară între 2021 și 2022, coordonat de Hugging Face și care a reunit peste 1.000 de cercetători voluntari din peste 60 de țări și 250 de instituții. Ieșirea sa principală, lansată în iulie 2022, a fost BLOOM, un model de limbaj autoregresiv cu 176 de miliarde de parametri. BLOOM a fost în mod deliberat multilingv, instruit pe corpus ROOTS acoperind 46 de limbaje naturale și 13 limbaje de programare, cu o reprezentare puternică a limbilor subreprezentate, cum ar fi mai multe limbi africane și din Asia de Sud. Instruirea s-a desfășurat timp de câteva luni pe supercomputerul Jean Zay, finanțat din fonduri publice, în Franța, folosind aproximativ 384 de GPU. BLOOM a fost lansat sub licența Responsible AI cu documentația completă a datelor, a instruirii și a utilizărilor prevăzute, contrastând puternic cu dezvoltarea închisă a modelelor comparabile.
Perspectivă tehnică
BLOOM este un transformator numai pentru decodor, de o scară similară cu GPT-3, care utilizează înglobări poziționale ALiBi în loc de vectori de poziție învățați, ceea ce îl ajută să extrapoleze la secvențe mai lungi decât cele observate la antrenament. De asemenea, aplică o normalizare a stratului de încorporare care a îmbunătățit stabilitatea antrenamentului la scară. Corpusul multilingv ROOTS a fost atent asamblat și documentat, astfel încât mixul de limbi și sursele de date să fie transparente și auditabile, o abatere deliberată de la seturile de date opace.
Stăpânirea BigScience și a modelului BLOOM
BigScience a fost o colaborare deschisă de un an de cercetare a peste 1.000 de cercetători care a produs BLOOM, unul dintre primele modele de limbi mari cu adevărat multilingve, lansate în mod deschis. Contează ca un reper în IA transparentă, condusă de comunitate, construită în afara Big Tech. BigScience și modelul BLOOM sunt cel mai bine înțelese în contextul strategiei, al accesului la model, al deciziilor de platformă și al parteneriatelor ecosistemice. Pentru a construi o înțelegere profundă, tratați BigScience și Modelul BLOOM ca pe un model de operare, nu ca pe o singură caracteristică: definiți rezultatele dorite, clarificați ipotezele și separați ceea ce poate face sistemul în mod fiabil de ceea ce necesită încă o judecată expertă.
În practică, echipele puternice care utilizează BigScience și modelul BLOOM evaluează strategia furnizorului, fiabilitatea foii de parcurs și riscul de blocare înainte de a se angaja. Aceștia documentează criteriile de succes explicite, testează în funcție de date și fluxuri de lucru realiste și repetă pe baza modelelor de eșec observate, mai degrabă decât a câștigurilor de referință unice. Aici înțelegerea teoretică se transformă în capacitate durabilă pentru produse, politici și operațiuni.
Foile de parcurs ale furnizorilor influențează caracteristicile pe care echipa ta le poate construi în continuare. În același timp, anunțurile de lansare pot depăși stabilitatea în fluxurile de producție reale. Cea mai rezistentă abordare este combinarea vitezei de experimentare cu disciplina de guvernare: desfășurați pilot, capturați dovezi, publicați jurnalele de decizie și actualizați continuu măsurile de protecție pe măsură ce comportamentul modelului, așteptările utilizatorilor și cerințele de reglementare evoluează.
Impact strategic
Foile de parcurs ale furnizorilor influențează caracteristicile pe care echipa ta le poate construi în continuare.
Foile de parcurs ale furnizorilor influențează caracteristicile pe care echipa ta le poate construi în continuare. În implementările de înaltă calitate, acest lucru se traduce în reguli de operare măsurabile, limite de proprietate și ritualuri de revizuire recurente, astfel încât echipele să poată mări încrederea în loc să crească ambiguitatea.
Condițiile comerciale și opțiunile de implementare afectează costurile și riscurile pe termen lung.
Condițiile comerciale și opțiunile de implementare afectează costurile și riscurile pe termen lung. În implementările de înaltă calitate, acest lucru se traduce în reguli de operare măsurabile, limite de proprietate și ritualuri de revizuire recurente, astfel încât echipele să poată mări încrederea în loc să crească ambiguitatea.
Stimulentele companiei modelează valorile implicite ale produselor, postura de siguranță și deschiderea.
Stimulentele companiei modelează valorile implicite ale produselor, postura de siguranță și deschiderea. În implementările de înaltă calitate, acest lucru se traduce în reguli de operare măsurabile, limite de proprietate și ritualuri de revizuire recurente, astfel încât echipele să poată mări încrederea în loc să crească ambiguitatea.
Implementare în lumea reală
Generarea și completarea textului în zeci de limbi, inclusiv cele nedeservite de modelele comerciale
Servind ca bază de cercetare deschisă pentru studiul părtinirii, transferului multilingv și comportamentului de scalare
Ajustare fină în variante specifice sarcinii sau care urmează instrucțiuni, cum ar fi BLOOMZ pentru comunitățile non-engleze
Furnizarea unui model complet documentat pentru cadrele universitare care studiază proveniența datelor de formare și licențierea AI responsabilă
Modele de implementare
BigScience și modelul BLOOM în practică
Generarea și completarea textului în zeci de limbi, inclusiv cele nedeservite de modelele comerciale.
Generarea și completarea textului în zeci de limbi, inclusiv cele nedeservite de modelele comerciale. Echipele obțin de obicei rezultate mai bune atunci când definesc praguri de calitate în avans, păstrează o cale de escaladare umană pentru cazurile marginale și urmăresc atât câștigurile de productivitate, cât și costurile erorilor în timp.
BigScience și modelul BLOOM în practică
Servind ca bază de cercetare deschisă pentru studiul părtinirii, transferului multilingv și comportamentului de scalare.
Servind drept bază de cercetare deschisă pentru studiul părtinirii, transferului multilingv și comportamentului de scalare Echipele obțin de obicei rezultate mai bune atunci când definesc praguri de calitate în avans, păstrează o cale de escaladare umană pentru cazurile marginale și urmăresc atât câștigurile de productivitate, cât și costurile de eroare în timp.
BigScience și modelul BLOOM în practică
Ajustare fină în variante specifice sarcinii sau care urmează instrucțiuni, cum ar fi BLOOMZ, pentru comunitățile non-engleze.
Reglarea fină a variantelor specifice sarcinii sau care urmează instrucțiuni, cum ar fi BLOOMZ pentru comunitățile non-engleze, echipele obțin de obicei rezultate mai bune atunci când definesc praguri de calitate în avans, păstrează o cale de escaladare umană pentru cazurile marginale și urmăresc atât câștigurile de productivitate, cât și costurile erorilor în timp.
BigScience și modelul BLOOM în practică
Furnizarea unui model complet documentat pentru cadrele universitare care studiază proveniența datelor de formare și licențierea AI responsabilă.
Furnizarea unui model complet documentat pentru cadrele universitare care studiază proveniența datelor de formare și acordarea de licențe AI responsabile.
Riscuri și balustrade
Anunțurile de lansare pot depăși stabilitatea în fluxurile de producție reale.
Prețurile API sau schimbările de politică pot rupe ipoteze peste noapte.
Dependența de un singur furnizor crește costurile de blocare și migrare.
Foaia de parcurs de implementare
Evaluați furnizorii folosind propriile sarcini și seturi de date.
Evaluați furnizorii folosind propriile sarcini și seturi de date. Tratați fiecare pas ca pe o poartă de dovezi: dacă criteriile nu sunt îndeplinite, întrerupeți lansarea, închideți decalajul și abia apoi extindeți utilizarea.
Examinați confidențialitatea, securitatea și condițiile legale înainte de integrare.
Examinați confidențialitatea, securitatea și condițiile legale înainte de integrare. Tratați fiecare pas ca pe o poartă de dovezi: dacă criteriile nu sunt îndeplinite, întrerupeți lansarea, închideți decalajul și abia apoi extindeți utilizarea.
Mențineți un plan alternativ pentru modele sau furnizori.
Mențineți un plan alternativ pentru modele sau furnizori. Tratați fiecare pas ca pe o poartă de dovezi: dacă criteriile nu sunt îndeplinite, întrerupeți lansarea, închideți decalajul și abia apoi extindeți utilizarea.
Monitorizați notele de lansare, astfel încât modificările foii de parcurs să nu surprindă echipele.
Monitorizați notele de lansare, astfel încât modificările foii de parcurs să nu surprindă echipele. Tratați fiecare pas ca pe o poartă de dovezi: dacă criteriile nu sunt îndeplinite, întrerupeți lansarea, închideți decalajul și abia apoi extindeți utilizarea.