BigScience og BLOOM-modellen
BigScience var et årelangt åpent forskningssamarbeid med over 1000 forskere som produserte BLOOM, en av de første virkelig flerspråklige, åpent utgitte store språkmodellene.
Oversikt
It matters as a landmark in transparent, community-driven AI built outside Big Tech.
Dypdykk
BigScience var et ettårig forskningsverksted som gikk fra 2021 til 2022, koordinert av Hugging Face og samler mer enn 1000 frivillige forskere fra over 60 land og 250 institusjoner. Overskriften, utgitt i juli 2022, var BLOOM, en autoregressiv språkmodell med 176 milliarder parametere. BLOOM var bevisst flerspråklig, trent på ROOTS-korpuset som dekket 46 naturlige språk og 13 programmeringsspråk, med sterk representasjon av underrepresenterte språk som flere afrikanske og sørasiatiske språk. Opplæringen gikk i flere måneder på den offentlig finansierte superdatamaskinen Jean Zay i Frankrike med rundt 384 GPUer. BLOOM ble utgitt under Responsible AI-lisensen med full dokumentasjon av dataene, opplæringen og tiltenkte bruksområder, i skarp kontrast til den lukkede utviklingen av sammenlignbare modeller.
Teknisk innsikt
BLOOM er en transformator kun for dekoder av tilsvarende skala som GPT-3, som bruker ALiBi posisjonelle innebygginger i stedet for innlærte posisjonsvektorer, noe som hjelper den med å ekstrapolere til lengre sekvenser enn sett under trening. Den bruker også en normalisering av innebygde lag som forbedret treningsstabiliteten i skala. Det flerspråklige ROOTS-korpuset ble nøye satt sammen og dokumentert, slik at språkblandingen og datakildene var transparente og kontrollerbare, en bevisst avvik fra ugjennomsiktige skrapte datasett.
Strategisk innvirkning
Vendor strategy
Leverandørveikart påvirker hvilke funksjoner teamet ditt kan bygge videre.
Cost and budget
Kommersielle vilkår og distribusjonsalternativer påvirker langsiktige kostnader og risiko.
Risiko og sikkerhet
Selskapets insentiver former produktstandarder, sikkerhetsstilling og åpenhet.
Fremtiden til BigScience og BLOOM-modellen
BigScience viste at storskala, åpent styrt AI er mulig, og modellen påvirket senere åpne utgivelser og det bredere presset for åpenhet. Fremtidig flerspråklig arbeid vil sannsynligvis bygge på leksjonene i datadokumentasjon og inkluderende språkdekning, mens nyere, mer effektive modeller har overgått BLOOM på rå kapasitet. Den varige arven er normen for publisering av modellkort, dataerklæringer og ansvarlige lisenser, pluss bevis på at offentlig databehandling kan trene opp modeller i grenseskala.
Real-World Implementering
Generering og fullføring av tekst på tvers av dusinvis av språk, inkludert de som ikke betjenes av kommersielle modeller
Fungerer som en åpen forskningsbaselinje for å studere skjevhet, flerspråklig overføring og skaleringsatferd
Finjustering til oppgavespesifikke eller instruksjonsfølgende varianter som BLOOMZ for ikke-engelske samfunn
Gir en fullt dokumentert modell for akademikere som studerer opplæringsdatas opprinnelse og ansvarlig AI-lisensiering
Risikoer og rekkverk
Lanseringskunngjøringer kan overgå stabiliteten i ekte produksjonsarbeidsflyter.
API-priser eller endringer i retningslinjene kan bryte antagelser over natten.
Avhengighet av én leverandør øker kostnadene for innlåsing og migrering.
Veikart for implementering
Evaluer leverandører ved å bruke dine egne oppgaver og datasett.
Se gjennom personvern, sikkerhet og juridiske vilkår før integrering.
Oppretthold en reserveplan på tvers av modeller eller leverandører.
Overvåk utgivelsesnotater slik at endringer i veikart ikke overrasker teamene.
Fortsett å utforske
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the BigScience and the BLOOM Model quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Neste guide
Magic AI langkontekstkodemodeller
Ofte stilte spørsmål
What is BigScience and the BLOOM Model?
BigScience var et årelangt åpent forskningssamarbeid med over 1000 forskere som produserte BLOOM, en av de første virkelig flerspråklige, åpent utgitte store språkmodellene. Det er viktig som et landemerke i transparent, fellesskapsdrevet AI bygget utenfor Big Tech.
Hva var hovedmålet med BLOOM-modellen sammenlignet med modeller av lignende størrelse på sin tid?
BLOOM ble designet for å være genuint flerspråklig og ble utgitt åpent med full dokumentasjon, i motsetning til lukkede modeller av sammenlignbar skala.
Omtrent hvor mange parametere har BLOOM?
BLOOM er en modell med 176 milliarder parametere, og plasserer den på en lignende skala som GPT-3.
Hvor mange naturlige språk ble BLOOM opplært til å håndtere?
BLOOMs ROOTS-treningskorpus dekket 46 naturlige språk pluss 13 programmeringsspråk.
Hvilken organisasjon koordinerte BigScience-samarbeidet?
Hugging Face koordinerte BigScience, et verksted med mer enn 1000 frivillige forskere.
Hvor ble BLOOM trent?
BLOOM ble trent på Jean Zay-superdatamaskinen i Frankrike, og demonstrerte at offentlig databehandling kunne trene en grenseskalamodell.