VolgendeVolgende gids
Magic AI-codemodellen met lange context
Bedrijven
Bedrijven GIDS
BLOOM is a 176-billion-parameter multilingual language model produced by the BigScience collaboration and released with its research documentation.
Luister naar deze gidsAI-verteld · ~2 min
Its ROOTS training corpus included natural and programming languages, making it a prominent open-access research model.
The BigScience paper describes BLOOM as a decoder-only Transformer with 176 billion parameters. It was trained on ROOTS, a corpus assembled from hundreds of sources in 46 natural languages and 13 programming languages. The collaboration released the model and code under the Responsible AI License and documented data and training choices. Its open-access release supports research, but does not remove the need to consider the license, model limitations, or the represented language distribution.
Het genereren en aanvullen van tekst in tientallen talen, waaronder talen die niet door commerciële modellen worden ondersteund
Dient als een open onderzoeksbasislijn voor het bestuderen van vooroordelen, meertalige overdracht en schaalgedrag
Verfijning naar taakspecifieke of instructievolgende varianten zoals BLOOMZ voor niet-Engelse gemeenschappen
Het bieden van een volledig gedocumenteerd model voor academici die de herkomst van trainingsgegevens en verantwoorde AI-licenties bestuderen
BigScience heeft aangetoond dat grootschalige, openlijk bestuurde AI mogelijk is, en het model ervan heeft latere open releases en de bredere drang naar transparantie beïnvloed. Toekomstig meertalig werk zal waarschijnlijk voortbouwen op de lessen die zijn getrokken op het gebied van datadocumentatie en inclusieve taaldekking, terwijl nieuwere, efficiëntere modellen BLOOM op het gebied van ruwe capaciteit hebben overtroffen. De blijvende erfenis ervan is de norm voor het publiceren van modelkaarten, gegevensverklaringen en verantwoorde licenties, plus het bewijs dat publieke rekenkracht modellen op grensschaal kan trainen.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
BLOOM is a 176-billion-parameter multilingual language model produced by the BigScience collaboration and released with its research documentation. Its ROOTS training corpus included natural and programming languages, making it a prominent open-access research model.
BLOOM is ontworpen om echt meertalig te zijn en werd openlijk vrijgegeven met volledige documentatie, in tegenstelling tot gesloten modellen van vergelijkbare schaal.
BLOOM is een model met 176 miljard parameters en bevindt zich op een vergelijkbare schaal als GPT-3.
Het ROOTS-trainingscorpus van BLOOM omvatte 46 natuurlijke talen plus 13 programmeertalen.
Hugging Face coördineerde BigScience, een workshop met meer dan 1.000 vrijwillige onderzoekers.
BLOOM werd getraind op de Jean Zay-supercomputer in Frankrijk, waarmee werd aangetoond dat public computing een model op grensschaal kon trainen.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Magic AI-codemodellen met lange context
Bedrijven