NastępnyNastępny poradnik
Modele kodu o długim kontekście Magic AI
Firmy
PRZEWODNIK FIRM
BigScience i model BLOOM
BLOOM is a 176-billion-parameter multilingual language model produced by the BigScience collaboration and released with its research documentation.
Posłuchaj tego przewodnikaOpowiadane przez sztuczną inteligencję · ~2 min
Na tej stronie2 minuty czytania
Przegląd
Its ROOTS training corpus included natural and programming languages, making it a prominent open-access research model.
Głębokie nurkowanie
The BigScience paper describes BLOOM as a decoder-only Transformer with 176 billion parameters. It was trained on ROOTS, a corpus assembled from hundreds of sources in 46 natural languages and 13 programming languages. The collaboration released the model and code under the Responsible AI License and documented data and training choices. Its open-access release supports research, but does not remove the need to consider the license, model limitations, or the represented language distribution.
Implementacja w świecie rzeczywistym
Generowanie i uzupełnianie tekstów w kilkudziesięciu językach, także tych nieobsługiwanych przez komercyjne modele
Służy jako otwarta baza badawcza do badania uprzedzeń, transferu wielojęzycznego i skalowania zachowań
Dostosowanie do wariantów specyficznych dla zadania lub instrukcji, takich jak BLOOMZ dla społeczności innych niż angielski
Udostępnienie w pełni udokumentowanego modelu pracownikom naukowym badającym pochodzenie danych szkoleniowych i odpowiedzialne licencjonowanie sztucznej inteligencji
Przyszłość BigScience i Model BLOOM
BigScience pokazała, że możliwa jest sztuczna inteligencja na dużą skalę, zarządzana w sposób otwarty, a jej model wpłynął na późniejsze otwarte wersje oprogramowania i szersze dążenie do przejrzystości. Przyszłe prace wielojęzyczne będą prawdopodobnie opierać się na wnioskach z dokumentacji danych i włączającego zakresu języków, podczas gdy nowsze, bardziej wydajne modele przewyższają BLOOM pod względem surowych możliwości. Jego trwałym dziedzictwem jest norma publikowania kart modeli, zestawień danych i odpowiedzialnych licencji, a także dowód, że publiczne obliczenia mogą szkolić modele w pionierskiej skali.
Wdrażanie tego w praktykę
Dlaczego to ma znaczenie
- Strategia dostawcy. Plany dostawców wpływają na to, jakie funkcje Twój zespół będzie mógł dalej tworzyć.
- Koszt i budżet. Warunki handlowe i opcje wdrożenia wpływają na długoterminowe koszty i ryzyko.
- Ryzyko i bezpieczeństwo. Zachęty firmowe kształtują wady produktów, postawę bezpieczeństwa i otwartość.
Uważaj na
- Ogłoszenia o wprowadzeniu na rynek mogą przekroczyć stabilność w rzeczywistych przepływach pracy.
- Ceny interfejsów API lub zmiany zasad mogą z dnia na dzień złamać założenia.
- Zależność od jednego dostawcy zwiększa koszty uzależnienia i migracji.
Kolejne kroki
- Oceniaj dostawców, korzystając z własnych zadań i zbiorów danych.
- Przed integracją przejrzyj warunki dotyczące prywatności, bezpieczeństwa i prawa.
- Utrzymuj plan awaryjny dla różnych modeli i dostawców.
- Monitoruj informacje o wersji, aby zmiany w planie działania nie zaskoczyły zespołów.
Odkrywaj dalej
Darmowy newsletter
Otrzymuj codzienne podsumowanie AI
Trzy zweryfikowane historie AI każdego poranka w dni robocze, napisane prostym angielskim. Bezpłatne na zawsze, bez reklam.
Jedno e‑mail każdego dnia roboczego. Wypisz się jednym kliknięciem. Nigdy nie sprzedajemy ani nie udostępniamy Twojego adresu.
Sprawdź się
Take the BigScience and the BLOOM Model quiz
Natychmiastowa informacja zwrotna na każde pytanie oraz udostępnialny certyfikat z weryfikowalnym ID po zaliczeniu kursu.
Wspieraj darmową edukację AI. AI Understanding jest organizacją non-profit 501(c)(3) — bez reklam, bez płatnej ściany, zawsze. Przekaż darowiznę
Często zadawane pytania
What is BigScience and the BLOOM Model?
BLOOM is a 176-billion-parameter multilingual language model produced by the BigScience collaboration and released with its research documentation. Its ROOTS training corpus included natural and programming languages, making it a prominent open-access research model.
Jaki był główny cel wyróżniający model BLOOM w porównaniu z modelami o podobnej wielkości z tamtych czasów?
BLOOM został zaprojektowany tak, aby był prawdziwie wielojęzyczny i został wydany otwarcie z pełną dokumentacją, w przeciwieństwie do zamkniętych modeli o porównywalnej skali.
Ile w przybliżeniu parametrów ma BLOOM?
BLOOM to model zawierający 176 miliardów parametrów, co plasuje go w skali podobnej do GPT-3.
Ilu języków naturalnych nauczył się BLOOM?
Korpus szkoleniowy BLOOM ROOTS obejmował 46 języków naturalnych i 13 języków programowania.
Która organizacja koordynowała współpracę BigScience?
Hugging Face koordynował BigScience, warsztaty, w których wzięło udział ponad 1000 badaczy-wolontariuszy.
Gdzie BLOOM był szkolony?
Projekt BLOOM został przeszkolony na superkomputerze Jean Zay we Francji, wykazując, że publiczne obliczenia mogą wytrenować model o pionierskiej skali.
Ucz się dalej
Powiązane przewodniki
Wybrano więcej przewodników na ten temat