Bedrijven GIDS

BigScience en het BLOOM-model

BLOOM is a 176-billion-parameter multilingual language model produced by the BigScience collaboration and released with its research documentation.

Luister naar deze gidsAI-verteld · ~2 min

Op deze pagina2 min lezen
  1. Overzicht
  2. Diepe duik
  3. Implementatie in de echte wereld
  4. De toekomst van BigScience en het BLOOM-model
  5. Het in de praktijk brengen
  6. Blijf verkennen
  7. Veelgestelde vragen

Overzicht

Its ROOTS training corpus included natural and programming languages, making it a prominent open-access research model.

Diepe duik

The BigScience paper describes BLOOM as a decoder-only Transformer with 176 billion parameters. It was trained on ROOTS, a corpus assembled from hundreds of sources in 46 natural languages and 13 programming languages. The collaboration released the model and code under the Responsible AI License and documented data and training choices. Its open-access release supports research, but does not remove the need to consider the license, model limitations, or the represented language distribution.

Implementatie in de echte wereld

Het genereren en aanvullen van tekst in tientallen talen, waaronder talen die niet door commerciële modellen worden ondersteund

Dient als een open onderzoeksbasislijn voor het bestuderen van vooroordelen, meertalige overdracht en schaalgedrag

Verfijning naar taakspecifieke of instructievolgende varianten zoals BLOOMZ voor niet-Engelse gemeenschappen

Het bieden van een volledig gedocumenteerd model voor academici die de herkomst van trainingsgegevens en verantwoorde AI-licenties bestuderen

De toekomst van BigScience en het BLOOM-model

BigScience heeft aangetoond dat grootschalige, openlijk bestuurde AI mogelijk is, en het model ervan heeft latere open releases en de bredere drang naar transparantie beïnvloed. Toekomstig meertalig werk zal waarschijnlijk voortbouwen op de lessen die zijn getrokken op het gebied van datadocumentatie en inclusieve taaldekking, terwijl nieuwere, efficiëntere modellen BLOOM op het gebied van ruwe capaciteit hebben overtroffen. De blijvende erfenis ervan is de norm voor het publiceren van modelkaarten, gegevensverklaringen en verantwoorde licenties, plus het bewijs dat publieke rekenkracht modellen op grensschaal kan trainen.

Het in de praktijk brengen

Waarom het ertoe doet

  • Leveranciersstrategie. Roadmaps van leveranciers beïnvloeden welke functies uw team vervolgens kan bouwen.
  • Kosten en budget. Commerciële voorwaarden en implementatieopties zijn van invloed op de kosten en risico's op de lange termijn.
  • Risico en veiligheid. Bedrijfsprikkels bepalen productgebreken, veiligheidshouding en openheid.

Pas op voor

  • Lanceringsaankondigingen kunnen de stabiliteit in echte productieworkflows overtreffen.
  • API-prijzen of beleidswijzigingen kunnen van de ene op de andere dag de aannames doorbreken.
  • De afhankelijkheid van één leverancier verhoogt de lock-in- en migratiekosten.

Volgende stappen

  1. Evalueer providers met behulp van uw eigen taken en datasets.
  2. Controleer de privacy-, beveiligings- en juridische voorwaarden vóór de integratie.
  3. Onderhoud een noodplan voor alle modellen of leveranciers.
  4. Houd de release-opmerkingen in de gaten, zodat wijzigingen in de routekaart teams niet verrassen.

Blijf verkennen

Gratis nieuwsbrief

Ontvang de dagelijkse AI-briefing

Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.

Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.

Test jezelf

Take the BigScience and the BLOOM Model quiz

Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.

Quiz starten

Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie

Veelgestelde vragen

Wat is BigScience en het BLOOM-model?

BLOOM is a 176-billion-parameter multilingual language model produced by the BigScience collaboration and released with its research documentation. Its ROOTS training corpus included natural and programming languages, making it a prominent open-access research model.

Wat was het belangrijkste onderscheidende doel van het BLOOM-model vergeleken met modellen van vergelijkbare grootte uit die tijd?

BLOOM is ontworpen om echt meertalig te zijn en werd openlijk vrijgegeven met volledige documentatie, in tegenstelling tot gesloten modellen van vergelijkbare schaal.

Hoeveel parameters heeft BLOOM ongeveer?

BLOOM is een model met 176 miljard parameters en bevindt zich op een vergelijkbare schaal als GPT-3.

Voor hoeveel natuurlijke talen is BLOOM getraind?

Het ROOTS-trainingscorpus van BLOOM omvatte 46 natuurlijke talen plus 13 programmeertalen.

Welke organisatie coördineerde de BigScience-samenwerking?

Hugging Face coördineerde BigScience, een workshop met meer dan 1.000 vrijwillige onderzoekers.

Waar is BLOOM opgeleid?

BLOOM werd getraind op de Jean Zay-supercomputer in Frankrijk, waarmee werd aangetoond dat public computing een model op grensschaal kon trainen.