BigScience en het BLOOM-model
BigScience was een open onderzoekssamenwerking van meer dan 1.000 onderzoekers die een jaar lang BLOOM produceerde, een van de eerste echt meertalige, openlijk vrijgegeven grote taalmodellen.
Overzicht
It matters as a landmark in transparent, community-driven AI built outside Big Tech.
Diepe duik
BigScience was een eenjarige onderzoeksworkshop die liep van 2021 tot 2022, gecoördineerd door Hugging Face en waarbij meer dan 1.000 vrijwillige onderzoekers uit meer dan 60 landen en 250 instellingen samenkwamen. De belangrijkste output, uitgebracht in juli 2022, was BLOOM, een autoregressief taalmodel met 176 miljard parameters. BLOOM was bewust meertalig, getraind op het ROOTS-corpus dat 46 natuurlijke talen en 13 programmeertalen omvat, met een sterke vertegenwoordiging van ondervertegenwoordigde talen, zoals verschillende Afrikaanse en Zuid-Aziatische talen. De training duurde enkele maanden op de door de overheid gefinancierde Jean Zay-supercomputer in Frankrijk, waarbij gebruik werd gemaakt van ongeveer 384 GPU's. BLOOM werd uitgebracht onder de Responsible AI License met volledige documentatie van de gegevens, training en beoogde toepassingen, wat in schril contrast staat met de gesloten ontwikkeling van vergelijkbare modellen.
Technisch inzicht
BLOOM is een transformator met alleen een decoder van vergelijkbare omvang als GPT-3, die gebruik maakt van positionele inbedding van ALiBi in plaats van aangeleerde positievectoren, waardoor het kan worden geëxtrapoleerd naar langere reeksen dan bij training wordt gezien. Het past ook een normalisatie van de inbeddingslaag toe die de trainingsstabiliteit op schaal verbetert. Het meertalige ROOTS-corpus werd zorgvuldig samengesteld en gedocumenteerd, zodat de taalmix en gegevensbronnen transparant en controleerbaar waren, een bewuste afwijking van ondoorzichtige, geschraapte datasets.
Strategische impact
Vendor strategy
Roadmaps van leveranciers beïnvloeden welke functies uw team vervolgens kan bouwen.
Cost and budget
Commerciële voorwaarden en implementatieopties zijn van invloed op de kosten en risico's op de lange termijn.
Risk and safety
Bedrijfsprikkels bepalen productgebreken, veiligheidshouding en openheid.
De toekomst van BigScience en het BLOOM-model
BigScience heeft aangetoond dat grootschalige, openlijk bestuurde AI mogelijk is, en het model ervan heeft latere open releases en de bredere drang naar transparantie beïnvloed. Toekomstig meertalig werk zal waarschijnlijk voortbouwen op de lessen die zijn getrokken op het gebied van datadocumentatie en inclusieve taaldekking, terwijl nieuwere, efficiëntere modellen BLOOM op het gebied van ruwe capaciteit hebben overtroffen. De blijvende erfenis ervan is de norm voor het publiceren van modelkaarten, gegevensverklaringen en verantwoorde licenties, plus het bewijs dat publieke rekenkracht modellen op grensschaal kan trainen.
Implementatie in de echte wereld
Het genereren en aanvullen van tekst in tientallen talen, waaronder talen die niet door commerciële modellen worden ondersteund
Dient als een open onderzoeksbasislijn voor het bestuderen van vooroordelen, meertalige overdracht en schaalgedrag
Verfijning naar taakspecifieke of instructievolgende varianten zoals BLOOMZ voor niet-Engelse gemeenschappen
Het bieden van een volledig gedocumenteerd model voor academici die de herkomst van trainingsgegevens en verantwoorde AI-licenties bestuderen
Risico's en vangrails
Lanceringsaankondigingen kunnen de stabiliteit in echte productieworkflows overtreffen.
API-prijzen of beleidswijzigingen kunnen van de ene op de andere dag de aannames doorbreken.
De afhankelijkheid van één leverancier verhoogt de lock-in- en migratiekosten.
Implementatie routekaart
Evalueer providers met behulp van uw eigen taken en datasets.
Controleer de privacy-, beveiligings- en juridische voorwaarden vóór de integratie.
Onderhoud een noodplan voor alle modellen of leveranciers.
Houd de release-opmerkingen in de gaten, zodat wijzigingen in de routekaart teams niet verrassen.
Blijf verkennen
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the BigScience and the BLOOM Model quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Magic AI-codemodellen met lange context
Frequently asked questions
What is BigScience and the BLOOM Model?
BigScience was een open onderzoekssamenwerking van meer dan 1.000 onderzoekers die een jaar lang BLOOM produceerde, een van de eerste echt meertalige, openlijk vrijgegeven grote taalmodellen. Het is van belang als mijlpaal in transparante, gemeenschapsgestuurde AI die buiten Big Tech is gebouwd.
Wat was het belangrijkste onderscheidende doel van het BLOOM-model vergeleken met modellen van vergelijkbare grootte uit die tijd?
BLOOM is ontworpen om echt meertalig te zijn en werd openlijk vrijgegeven met volledige documentatie, in tegenstelling tot gesloten modellen van vergelijkbare schaal.
Hoeveel parameters heeft BLOOM ongeveer?
BLOOM is een model met 176 miljard parameters en bevindt zich op een vergelijkbare schaal als GPT-3.
Voor hoeveel natuurlijke talen is BLOOM getraind?
Het ROOTS-trainingscorpus van BLOOM omvatte 46 natuurlijke talen plus 13 programmeertalen.
Welke organisatie coördineerde de BigScience-samenwerking?
Hugging Face coördineerde BigScience, een workshop met meer dan 1.000 vrijwillige onderzoekers.
Waar is BLOOM opgeleid?
BLOOM werd getraind op de Jean Zay-supercomputer in Frankrijk, waarmee werd aangetoond dat public computing een model op grensschaal kon trainen.