BigScience i model BLOOM
BigScience to całoroczna, otwarta współpraca badawcza ponad 1000 badaczy, w wyniku której powstał BLOOM, jeden z pierwszych prawdziwie wielojęzycznych, publicznie udostępnianych modeli dużych języków.
Przegląd
It matters as a landmark in transparent, community-driven AI built outside Big Tech.
Głębokie nurkowanie
BigScience to roczne warsztaty badawcze prowadzone w latach 2021–2022, koordynowane przez Hugging Face i gromadzące ponad 1000 badaczy-wolontariuszy z ponad 60 krajów i 250 instytucji. Jego głównym produktem, opublikowanym w lipcu 2022 r., był BLOOM, model języka autoregresyjnego zawierający 176 miliardów parametrów. BLOOM był celowo wielojęzyczny, przeszkolony w oparciu o korpus ROOTS obejmujący 46 języków naturalnych i 13 języków programowania, z silną reprezentacją niedostatecznie reprezentowanych języków, takich jak kilka języków afrykańskich i południowoazjatyckich. Szkolenie trwało kilka miesięcy na finansowanym ze środków publicznych superkomputerze Jean Zay we Francji i korzystało z około 384 procesorów graficznych. BLOOM został wydany na licencji Odpowiedzialnej AI z pełną dokumentacją dotyczącą danych, szkoleń i zamierzonych zastosowań, co ostro kontrastuje z zamkniętym rozwojem porównywalnych modeli.
Wgląd techniczny
BLOOM to transformator przeznaczony wyłącznie do dekodera, o podobnej skali do GPT-3, wykorzystujący osadzanie pozycyjne ALiBi zamiast wyuczonych wektorów położenia, co pomaga mu ekstrapolować na dłuższe sekwencje niż w przypadku uczenia. Stosuje również normalizację warstwy osadzającej, która poprawia stabilność treningu na dużą skalę. Wielojęzyczny korpus ROOTS został starannie zebrany i udokumentowany, tak aby mieszanka językowa i źródła danych były przejrzyste i możliwe do skontrolowania, co stanowi celowe odejście od nieprzejrzystych, zeskrobanych zbiorów danych.
Wpływ strategiczny
Strategia dostawcy
Plany dostawców wpływają na to, jakie funkcje Twój zespół będzie mógł dalej tworzyć.
Koszt i budżet
Warunki handlowe i opcje wdrożenia wpływają na długoterminowe koszty i ryzyko.
Ryzyko i bezpieczeństwo
Zachęty firmowe kształtują wady produktów, postawę bezpieczeństwa i otwartość.
Przyszłość BigScience i Model BLOOM
BigScience pokazała, że możliwa jest sztuczna inteligencja na dużą skalę, zarządzana w sposób otwarty, a jej model wpłynął na późniejsze otwarte wersje oprogramowania i szersze dążenie do przejrzystości. Przyszłe prace wielojęzyczne będą prawdopodobnie opierać się na wnioskach z dokumentacji danych i włączającego zakresu języków, podczas gdy nowsze, bardziej wydajne modele przewyższają BLOOM pod względem surowych możliwości. Jego trwałym dziedzictwem jest norma publikowania kart modeli, zestawień danych i odpowiedzialnych licencji, a także dowód, że publiczne obliczenia mogą szkolić modele w pionierskiej skali.
Implementacja w świecie rzeczywistym
Generowanie i uzupełnianie tekstów w kilkudziesięciu językach, także tych nieobsługiwanych przez komercyjne modele
Służy jako otwarta baza badawcza do badania uprzedzeń, transferu wielojęzycznego i skalowania zachowań
Dostosowanie do wariantów specyficznych dla zadania lub instrukcji, takich jak BLOOMZ dla społeczności innych niż angielski
Udostępnienie w pełni udokumentowanego modelu pracownikom naukowym badającym pochodzenie danych szkoleniowych i odpowiedzialne licencjonowanie sztucznej inteligencji
Zagrożenia i poręcze
Ogłoszenia o wprowadzeniu na rynek mogą przekroczyć stabilność w rzeczywistych przepływach pracy.
Ceny interfejsów API lub zmiany zasad mogą z dnia na dzień złamać założenia.
Zależność od jednego dostawcy zwiększa koszty uzależnienia i migracji.
Plan wdrożenia
Oceniaj dostawców, korzystając z własnych zadań i zbiorów danych.
Przed integracją przejrzyj warunki dotyczące prywatności, bezpieczeństwa i prawa.
Utrzymuj plan awaryjny dla różnych modeli i dostawców.
Monitoruj informacje o wersji, aby zmiany w planie działania nie zaskoczyły zespołów.
Odkrywaj dalej
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the BigScience and the BLOOM Model quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Następny poradnik
Modele kodu o długim kontekście Magic AI
Często zadawane pytania
What is BigScience and the BLOOM Model?
BigScience to całoroczna, otwarta współpraca badawcza ponad 1000 badaczy, w wyniku której powstał BLOOM, jeden z pierwszych prawdziwie wielojęzycznych, publicznie udostępnianych modeli dużych języków. Ma znaczenie jako punkt orientacyjny w przejrzystej sztucznej inteligencji kierowanej przez społeczność zbudowanej poza Big Tech.
Jaki był główny cel wyróżniający model BLOOM w porównaniu z modelami o podobnej wielkości z tamtych czasów?
BLOOM został zaprojektowany tak, aby był prawdziwie wielojęzyczny i został wydany otwarcie z pełną dokumentacją, w przeciwieństwie do zamkniętych modeli o porównywalnej skali.
Ile w przybliżeniu parametrów ma BLOOM?
BLOOM to model zawierający 176 miliardów parametrów, co plasuje go w skali podobnej do GPT-3.
Ilu języków naturalnych nauczył się BLOOM?
Korpus szkoleniowy BLOOM ROOTS obejmował 46 języków naturalnych i 13 języków programowania.
Która organizacja koordynowała współpracę BigScience?
Hugging Face koordynował BigScience, warsztaty, w których wzięło udział ponad 1000 badaczy-wolontariuszy.
Gdzie BLOOM był szkolony?
Projekt BLOOM został przeszkolony na superkomputerze Jean Zay we Francji, wykazując, że publiczne obliczenia mogą wytrenować model o pionierskiej skali.