BigScience a model BLOOM
BigScience byla roční otevřená výzkumná spolupráce více než 1000 výzkumníků, která vytvořila BLOOM, jeden z prvních skutečně vícejazyčných, otevřeně vydaných velkých jazykových modelů.
Přehled
It matters as a landmark in transparent, community-driven AI built outside Big Tech.
Hluboký ponor
BigScience byl jednoletý výzkumný workshop probíhající od roku 2021 do roku 2022, koordinovaný Hugging Face a sdružující více než 1 000 dobrovolných výzkumníků z více než 60 zemí a 250 institucí. Jeho hlavní výstup, vydaný v červenci 2022, byl BLOOM, autoregresivní jazykový model se 176 miliardami parametrů. BLOOM byl záměrně vícejazyčný, trénovaný na korpusu ROOTS pokrývajícím 46 přirozených jazyků a 13 programovacích jazyků, se silným zastoupením nedostatečně zastoupených jazyků, jako je několik afrických a jihoasijských jazyků. Školení probíhalo několik měsíců na veřejně financovaném superpočítači Jean Zay ve Francii s použitím přibližně 384 GPU. BLOOM byl vydán pod licencí Responsible AI License s plnou dokumentací svých dat, školení a zamýšleného použití, což ostře kontrastuje s uzavřeným vývojem srovnatelných modelů.
Technický přehled
BLOOM je pouze dekodérový transformátor podobného rozsahu jako GPT-3, který používá poziční vložení ALiBi místo naučených polohových vektorů, což mu pomáhá extrapolovat na delší sekvence, než je vidět při tréninku. Aplikuje také normalizaci vkládací vrstvy, která zlepšila stabilitu tréninku v měřítku. Vícejazyčný korpus ROOTS byl pečlivě sestaven a zdokumentován, takže jazykový mix a zdroje dat byly transparentní a auditovatelné, což je záměrný odklon od neprůhledných seškrabovaných datových sad.
Strategický dopad
Strategie dodavatelů
Plány dodavatelů ovlivňují, jaké funkce může váš tým dále vybudovat.
Cena a rozpočet
Komerční podmínky a možnosti nasazení ovlivňují dlouhodobé náklady a rizika.
Riziko a bezpečnost
Firemní pobídky utvářejí výchozí produkty, bezpečný postoj a otevřenost.
Budoucnost BigScience a model BLOOM
BigScience prokázala, že je možná rozsáhlá, otevřeně řízená AI a její model ovlivnil pozdější otevřená vydání a širší tlak na transparentnost. Budoucí vícejazyčná práce bude pravděpodobně stavět na svých lekcích v dokumentaci dat a inkluzivním jazykovém pokrytí, zatímco novější, efektivnější modely předčily BLOOM v nezpracovaných schopnostech. Jeho trvalým dědictvím je norma zveřejňování modelových karet, datových výpisů a odpovědných licencí a navíc důkaz, že veřejné výpočty mohou trénovat modely v hraničním měřítku.
Real-World Implementace
Generování a dokončování textu v desítkách jazyků, včetně těch, které nejsou podporovány komerčními modely
Slouží jako otevřený výzkumný základ pro studium zkreslení, vícejazyčného přenosu a škálovacího chování
Jemné ladění do variant specifických pro úkol nebo podle pokynů, jako je BLOOMZ pro neanglické komunity
Poskytování plně zdokumentovaného modelu pro akademiky studující původ školicích dat a odpovědné licencování AI
Rizika a zábradlí
Oznámení o uvedení mohou předstihnout stabilitu v reálných výrobních pracovních postupech.
Změny cen API nebo politik mohou přes noc narušit předpoklady.
Závislost na jediném dodavateli zvyšuje náklady na uzamčení a migraci.
Plán implementace
Vyhodnoťte poskytovatele pomocí vlastních úkolů a datových sad.
Před integrací si přečtěte podmínky ochrany soukromí, zabezpečení a právní podmínky.
Udržujte záložní plán napříč modely nebo dodavateli.
Sledujte poznámky k vydání, aby změny plánu nepřekvapily týmy.
Pokračujte v objevování
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the BigScience and the BLOOM Model quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Další průvodce
Modely kódu Magic AI s dlouhým kontextem
Často kladené otázky
What is BigScience and the BLOOM Model?
BigScience byla roční otevřená výzkumná spolupráce více než 1000 výzkumníků, která vytvořila BLOOM, jeden z prvních skutečně vícejazyčných, otevřeně vydaných velkých jazykových modelů. Je důležitý jako mezník v transparentní, komunitou řízené umělé inteligenci postavené mimo Big Tech.
Jaký byl primární rozlišovací cíl modelu BLOOM ve srovnání s modely podobné velikosti své doby?
BLOOM byl navržen tak, aby byl skutečně vícejazyčný a byl vydán otevřeně s plnou dokumentací, na rozdíl od uzavřených modelů srovnatelného rozsahu.
Kolik parametrů má BLOOM přibližně?
BLOOM je model se 176 miliardami parametrů, což jej řadí do podobného měřítka jako GPT-3.
S kolika přirozenými jazyky byl BLOOM naučen?
Školicí korpus ROOTS společnosti BLOOM pokrýval 46 přirozených jazyků plus 13 programovacích jazyků.
Která organizace koordinovala spolupráci BigScience?
Hugging Face koordinoval BigScience, workshop více než 1000 dobrovolných výzkumníků.
Kde byl BLOOM vyškolen?
BLOOM byl trénován na superpočítači Jean Zay ve Francii, což prokázalo, že veřejné výpočty mohou trénovat model v hraničním měřítku.