PRŮVODCE společnostmi

BigScience a model BLOOM

BLOOM is a 176-billion-parameter multilingual language model produced by the BigScience collaboration and released with its research documentation.

Poslechněte si tento návodAI-vyprávěný · ~2 min

Na této stránce2 minuty čtení
  1. Přehled
  2. Hluboký ponor
  3. Real-World Implementace
  4. Budoucnost BigScience a model BLOOM
  5. Uvedení do praxe
  6. Pokračujte v objevování
  7. Často kladené otázky

Přehled

Its ROOTS training corpus included natural and programming languages, making it a prominent open-access research model.

Hluboký ponor

The BigScience paper describes BLOOM as a decoder-only Transformer with 176 billion parameters. It was trained on ROOTS, a corpus assembled from hundreds of sources in 46 natural languages and 13 programming languages. The collaboration released the model and code under the Responsible AI License and documented data and training choices. Its open-access release supports research, but does not remove the need to consider the license, model limitations, or the represented language distribution.

Real-World Implementace

Generování a dokončování textu v desítkách jazyků, včetně těch, které nejsou podporovány komerčními modely

Slouží jako otevřený výzkumný základ pro studium zkreslení, vícejazyčného přenosu a škálovacího chování

Jemné ladění do variant specifických pro úkol nebo podle pokynů, jako je BLOOMZ pro neanglické komunity

Poskytování plně zdokumentovaného modelu pro akademiky studující původ školicích dat a odpovědné licencování AI

Budoucnost BigScience a model BLOOM

BigScience prokázala, že je možná rozsáhlá, otevřeně řízená AI a její model ovlivnil pozdější otevřená vydání a širší tlak na transparentnost. Budoucí vícejazyčná práce bude pravděpodobně stavět na svých lekcích v dokumentaci dat a inkluzivním jazykovém pokrytí, zatímco novější, efektivnější modely předčily BLOOM v nezpracovaných schopnostech. Jeho trvalým dědictvím je norma zveřejňování modelových karet, datových výpisů a odpovědných licencí a navíc důkaz, že veřejné výpočty mohou trénovat modely v hraničním měřítku.

Uvedení do praxe

Proč na tom záleží

  • Strategie dodavatelů. Plány dodavatelů ovlivňují, jaké funkce může váš tým dále vybudovat.
  • Cena a rozpočet. Komerční podmínky a možnosti nasazení ovlivňují dlouhodobé náklady a rizika.
  • Riziko a bezpečnost. Firemní pobídky utvářejí výchozí produkty, bezpečný postoj a otevřenost.

Pozor na

  • Oznámení o uvedení mohou předstihnout stabilitu v reálných výrobních pracovních postupech.
  • Změny cen API nebo politik mohou přes noc narušit předpoklady.
  • Závislost na jediném dodavateli zvyšuje náklady na uzamčení a migraci.

Další kroky

  1. Vyhodnoťte poskytovatele pomocí vlastních úkolů a datových sad.
  2. Před integrací si přečtěte podmínky ochrany soukromí, zabezpečení a právní podmínky.
  3. Udržujte záložní plán napříč modely nebo dodavateli.
  4. Sledujte poznámky k vydání, aby změny plánu nepřekvapily týmy.

Pokračujte v objevování

Newsletter zdarma

Získejte denní přehled o AI

Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.

Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.

Otestujte se

Take the BigScience and the BLOOM Model quiz

Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.

Spustit kvíz

Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte

Často kladené otázky

What is BigScience and the BLOOM Model?

BLOOM is a 176-billion-parameter multilingual language model produced by the BigScience collaboration and released with its research documentation. Its ROOTS training corpus included natural and programming languages, making it a prominent open-access research model.

Jaký byl primární rozlišovací cíl modelu BLOOM ve srovnání s modely podobné velikosti své doby?

BLOOM byl navržen tak, aby byl skutečně vícejazyčný a byl vydán otevřeně s plnou dokumentací, na rozdíl od uzavřených modelů srovnatelného rozsahu.

Kolik parametrů má BLOOM přibližně?

BLOOM je model se 176 miliardami parametrů, což jej řadí do podobného měřítka jako GPT-3.

S kolika přirozenými jazyky byl BLOOM naučen?

Školicí korpus ROOTS společnosti BLOOM pokrýval 46 přirozených jazyků plus 13 programovacích jazyků.

Která organizace koordinovala spolupráci BigScience?

Hugging Face koordinoval BigScience, workshop více než 1000 dobrovolných výzkumníků.

Kde byl BLOOM vyškolen?

BLOOM byl trénován na superpočítači Jean Zay ve Francii, což prokázalo, že veřejné výpočty mohou trénovat model v hraničním měřítku.