DalšíDalší průvodce
Modely kódu Magic AI s dlouhým kontextem
Společnosti
PRŮVODCE společnostmi
BLOOM is a 176-billion-parameter multilingual language model produced by the BigScience collaboration and released with its research documentation.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Its ROOTS training corpus included natural and programming languages, making it a prominent open-access research model.
The BigScience paper describes BLOOM as a decoder-only Transformer with 176 billion parameters. It was trained on ROOTS, a corpus assembled from hundreds of sources in 46 natural languages and 13 programming languages. The collaboration released the model and code under the Responsible AI License and documented data and training choices. Its open-access release supports research, but does not remove the need to consider the license, model limitations, or the represented language distribution.
Generování a dokončování textu v desítkách jazyků, včetně těch, které nejsou podporovány komerčními modely
Slouží jako otevřený výzkumný základ pro studium zkreslení, vícejazyčného přenosu a škálovacího chování
Jemné ladění do variant specifických pro úkol nebo podle pokynů, jako je BLOOMZ pro neanglické komunity
Poskytování plně zdokumentovaného modelu pro akademiky studující původ školicích dat a odpovědné licencování AI
BigScience prokázala, že je možná rozsáhlá, otevřeně řízená AI a její model ovlivnil pozdější otevřená vydání a širší tlak na transparentnost. Budoucí vícejazyčná práce bude pravděpodobně stavět na svých lekcích v dokumentaci dat a inkluzivním jazykovém pokrytí, zatímco novější, efektivnější modely předčily BLOOM v nezpracovaných schopnostech. Jeho trvalým dědictvím je norma zveřejňování modelových karet, datových výpisů a odpovědných licencí a navíc důkaz, že veřejné výpočty mohou trénovat modely v hraničním měřítku.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
BLOOM is a 176-billion-parameter multilingual language model produced by the BigScience collaboration and released with its research documentation. Its ROOTS training corpus included natural and programming languages, making it a prominent open-access research model.
BLOOM byl navržen tak, aby byl skutečně vícejazyčný a byl vydán otevřeně s plnou dokumentací, na rozdíl od uzavřených modelů srovnatelného rozsahu.
BLOOM je model se 176 miliardami parametrů, což jej řadí do podobného měřítka jako GPT-3.
Školicí korpus ROOTS společnosti BLOOM pokrýval 46 přirozených jazyků plus 13 programovacích jazyků.
Hugging Face koordinoval BigScience, workshop více než 1000 dobrovolných výzkumníků.
BLOOM byl trénován na superpočítači Jean Zay ve Francii, což prokázalo, že veřejné výpočty mohou trénovat model v hraničním měřítku.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Modely kódu Magic AI s dlouhým kontextem
Společnosti