BigScience és a BLOOM modell
A BigScience több mint 1000 kutató egy éven át tartó nyílt kutatási együttműködése volt, amely létrehozta a BLOOM-ot, az egyik első valóban többnyelvű, nyíltan kiadott nagy nyelvi modellt.
Áttekintés
It matters as a landmark in transparent, community-driven AI built outside Big Tech.
Mély merülés
A BigScience egy 2021-től 2022-ig tartó, egyéves kutatóműhely volt, amelyet a Hugging Face koordinált, és több mint 1000 önkéntes kutatót hozott össze több mint 60 országból és 250 intézményből. A 2022 júliusában kiadott főcímkimenet a BLOOM, egy 176 milliárd paraméteres autoregresszív nyelvi modell volt. A BLOOM szándékosan többnyelvű volt, a ROOTS korpuszon képezték ki, amely 46 természetes nyelvet és 13 programozási nyelvet fed le, és erősen képviselte az alulreprezentált nyelveket, például több afrikai és dél-ázsiai nyelvet. A képzés több hónapon keresztül zajlott a közfinanszírozású Jean Zay szuperszámítógépen Franciaországban, körülbelül 384 GPU-val. A BLOOM a Responsible AI License alatt jelent meg, az adatok, a képzés és a tervezett felhasználások teljes dokumentációjával, ami éles ellentétben áll a hasonló modellek zárt fejlesztésével.
Technikai betekintés
A BLOOM egy, a GPT-3-hoz hasonló léptékű, csak dekóderre használható transzformátor, amely ALiBi pozícióbeágyazást használ a tanult helyzetvektorok helyett, ami segít hosszabb szekvenciákra extrapolálni, mint a képzés során. Alkalmaz egy beágyazási réteg normalizálást is, amely javította az edzési stabilitást a skálán. A többnyelvű ROOTS korpuszt gondosan összeállították és dokumentálták, így a nyelvi mix és az adatforrások átláthatóak és auditálhatók voltak, ami szándékos eltérés az átláthatatlan, összekapart adatkészletektől.
Stratégiai hatás
Szállítói stratégia
A szállítói ütemterv befolyásolja, hogy csapata milyen funkciókat építhet fel legközelebb.
Költség és költségvetés
A kereskedelmi feltételek és a telepítési lehetőségek befolyásolják a hosszú távú költségeket és kockázatokat.
Kockázat és biztonság
A vállalati ösztönzők alakítják a termék alapértelmezett beállításait, a biztonsági testtartást és a nyitottságot.
A BigScience jövője és a BLOOM modell
A BigScience bebizonyította, hogy lehetséges a nagyszabású, nyíltan irányított mesterséges intelligencia, és modellje befolyásolta a későbbi nyílt kiadásokat és az átláthatóság iránti szélesebb körű törekvést. A jövőbeni többnyelvű munka valószínűleg az adatdokumentáció és az átfogó nyelvi lefedettség tanulságaira épül, míg az újabb, hatékonyabb modellek a nyers képességek terén felülmúlták a BLOOM-ot. Tartós öröksége a modellkártyák, adatnyilatkozatok és felelős licencek közzétételének normája, valamint annak bizonyítéka, hogy a nyilvános számítástechnika képes határmodelleket képezni.
Valós megvalósítás
Szöveg generálása és kiegészítése több tucat nyelven, beleértve a kereskedelmi modellek által alul kiszolgált nyelveket is
Nyílt kutatási alapként szolgál az elfogultság, a többnyelvű átvitel és a skálázási viselkedés tanulmányozásához
Finomhangolás a feladatspecifikus vagy utasításokat követő változatokra, mint például a BLOOMZ nem angol közösségek számára
Teljesen dokumentált modell biztosítása a képzési adatok származását és a felelős mesterséges intelligencia engedélyezését tanulmányozó akadémikusok számára
Kockázatok és védőkorlátok
Az indítási bejelentések meghaladhatják a valódi termelési munkafolyamatok stabilitását.
Az API-árazás vagy az irányelvváltások egyik napról a másikra megdönthetik a feltételezéseket.
Az egyszállítótól való függőség növeli a bezárási és migrációs költségeket.
Végrehajtási ütemterv
Értékelje a szolgáltatókat saját feladatai és adatkészletei segítségével.
Az integráció előtt tekintse át az adatvédelmi, biztonsági és jogi feltételeket.
Tartsa fenn a tartalék tervet a modellek vagy szállítók között.
Figyelje a kiadási megjegyzéseket, hogy az ütemterv változásai ne lepjék meg a csapatokat.
Folytassa a felfedezést
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the BigScience and the BLOOM Model quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Következő útmutató
Magic AI hosszú kontextusú kódmodellek
Gyakran ismételt kérdések
What is BigScience and the BLOOM Model?
A BigScience több mint 1000 kutató egy éven át tartó nyílt kutatási együttműködése volt, amely létrehozta a BLOOM-ot, az egyik első valóban többnyelvű, nyíltan kiadott nagy nyelvi modellt. Mérföldkőnek számít a Big Techen kívül épített, átlátható, közösségvezérelt AI-ban.
Mi volt a BLOOM modell elsődleges megkülönböztető célja a korabeli hasonló méretű modellekhez képest?
A BLOOM-ot úgy tervezték, hogy valóban többnyelvű legyen, és nyíltan, teljes dokumentációval adták ki, ellentétben a hasonló léptékű zárt modellekkel.
Körülbelül hány paramétere van a BLOOM-nak?
A BLOOM egy 176 milliárdos paraméterű modell, amely a GPT-3-hoz hasonló skálán helyezi el.
Hány természetes nyelv kezelésére képezték ki a BLOOM-ot?
A BLOOM ROOTS képzési korpusza 46 természetes nyelvet és 13 programozási nyelvet fed le.
Melyik szervezet koordinálta a BigScience együttműködést?
Hugging Face koordinálta a BigScience-et, a több mint 1000 önkéntes kutató műhelyét.
Hol képezték ki BLOOM-ot?
A BLOOM-ot a Jean Zay szuperszámítógépen képezték ki Franciaországban, demonstrálva, hogy a nyilvános számítások képesek egy határ menti modellt is betanítani.