BigScience och BLOOM-modellen
BigScience var ett år långt öppet forskningssamarbete mellan över 1 000 forskare som producerade BLOOM, en av de första riktigt flerspråkiga, öppet släppta stora språkmodellerna.
Översikt
It matters as a landmark in transparent, community-driven AI built outside Big Tech.
Djupdykning
BigScience var en ettårig forskningsworkshop som pågick från 2021 till 2022, koordinerad av Hugging Face och samlade mer än 1 000 frivilliga forskare från över 60 länder och 250 institutioner. Dess rubrikproduktion, som släpptes i juli 2022, var BLOOM, en autoregressiv språkmodell med 176 miljarder parametrar. BLOOM var medvetet flerspråkig, utbildad på ROOTS-korpusen som täckte 46 naturliga språk och 13 programmeringsspråk, med stark representation av underrepresenterade språk som flera afrikanska och sydasiatiska språk. Utbildningen pågick i flera månader på den offentligt finansierade superdatorn Jean Zay i Frankrike med cirka 384 GPU:er. BLOOM släpptes under Responsible AI License med fullständig dokumentation av dess data, utbildning och avsedda användningsområden, i skarp kontrast till den slutna utvecklingen av jämförbara modeller.
Teknisk insikt
BLOOM är en transformator med endast avkodare av liknande skala som GPT-3, som använder ALiBi positionsinbäddningar istället för inlärda positionsvektorer, vilket hjälper den att extrapolera till längre sekvenser än vad man sett under träning. Den tillämpar också en normalisering av inbäddningslager som förbättrade träningsstabiliteten i skala. Den flerspråkiga ROOTS-korpusen sammanställdes noggrant och dokumenterades så att språkmixen och datakällorna var transparenta och granskningsbara, en avsiktlig avvikelse från ogenomskinliga skrapade datamängder.
Strategisk inverkan
Vendor strategy
Leverantörsfärdplaner påverkar vilka funktioner ditt team kan bygga härnäst.
Cost and budget
Kommersiella villkor och distributionsalternativ påverkar långsiktiga kostnader och risker.
Risk and safety
Företagsincitament formar produktstandarder, säkerhetsställning och öppenhet.
Framtiden för BigScience och BLOOM-modellen
BigScience visade att storskalig, öppet styrd AI är möjlig, och dess modell påverkade senare öppna releaser och den bredare strävan efter transparens. Framtida flerspråkigt arbete kommer sannolikt att bygga på sina lektioner i datadokumentation och inkluderande språktäckning, medan nyare, mer effektiva modeller har överträffat BLOOM när det gäller rå kapacitet. Dess bestående arv är normen för publicering av modellkort, datautlåtanden och ansvarsfulla licenser, plus bevis på att public compute kan träna gränsmodeller.
Real-World Implementation
Generera och komplettera text på dussintals språk, inklusive de som inte betjänas av kommersiella modeller
Fungerar som en öppen forskningsbaslinje för att studera partiskhet, flerspråkig överföring och skalningsbeteende
Finjustera till uppgiftsspecifika eller instruktionsföljande varianter som BLOOMZ för icke-engelska gemenskaper
Tillhandahåller en fullt dokumenterad modell för akademiker som studerar utbildningsdatas ursprung och ansvarsfull AI-licensering
Risker & skyddsräcken
Lanseringsmeddelanden kan överträffa stabiliteten i verkliga produktionsarbetsflöden.
API-prissättning eller policyförskjutningar kan bryta antaganden över en natt.
Beroende av en leverantör ökar inlåsnings- och migreringskostnaderna.
Färdplan för genomförande
Utvärdera leverantörer med dina egna uppgifter och datauppsättningar.
Granska sekretess, säkerhet och juridiska villkor innan integration.
Upprätthåll en reservplan över modeller eller leverantörer.
Övervaka release notes så att förändringar i färdplanen inte överraskar team.
Fortsätt utforska
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the BigScience and the BLOOM Model quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Magic AI Long-Context Code Models
Frequently asked questions
What is BigScience and the BLOOM Model?
BigScience var ett år långt öppet forskningssamarbete mellan över 1 000 forskare som producerade BLOOM, en av de första riktigt flerspråkiga, öppet släppta stora språkmodellerna. Det är viktigt som ett landmärke inom transparent, community-driven AI byggd utanför Big Tech.
Vilket var det primära särskiljande målet för BLOOM-modellen jämfört med modeller av liknande storlek på sin tid?
BLOOM designades för att vara genuint flerspråkig och släpptes öppet med full dokumentation, till skillnad från slutna modeller i jämförbar skala.
Ungefär hur många parametrar har BLOOM?
BLOOM är en modell med 176 miljarder parametrar, som placerar den i en skala liknande GPT-3.
Hur många naturliga språk tränades BLOOM i att hantera?
BLOOMs ROOTS-utbildningskorpus omfattade 46 naturliga språk plus 13 programmeringsspråk.
Vilken organisation koordinerade BigScience-samarbetet?
Hugging Face koordinerade BigScience, en workshop med mer än 1 000 frivilliga forskare.
Var utbildades BLOOM?
BLOOM utbildades på superdatorn Jean Zay i Frankrike, vilket visade att publika datorer kunde träna en modell i gränsskala.