EleutherAI
EleutherAI to oddolny kolektyw badawczy non-profit, który był pionierem dużych modeli językowych typu open source, gdy pionierska sztuczna inteligencja była zamknięta za murami korporacji.
Przegląd
It proved that a volunteer community could build and freely release models rivaling closed systems, reshaping who gets to participate in AI research.
Głębokie nurkowanie
EleutherAI powstało w lipcu 2020 r. jako społeczność Discord zorganizowana przez Connora Leahy'ego, Sida Blacka i Leo Gao, której pierwotnym celem było odtworzenie GPT-3 OpenAI. Aby wyszkolić takie modele, najpierw zbudowano i udostępniono The Pile, wyselekcjonowany zbiór danych tekstowych o pojemności 825 GB, który stał się standardowym otwartym korpusem szkoleniowym. Następnie wypuścili GPT-Neo, GPT-J-6B i GPT-NeoX-20B o 20 miliardach parametrów, jedne z największych ogólnodostępnych modeli językowych swoich czasów. Ich narzędzia, w tym biblioteka szkoleniowa GPT-NeoX i LM Evaluation Harness wykorzystywane w całej branży do testów porównawczych, stały się infrastrukturą, na której budowali inni. W 2023 r. EleutherAI sformalizowano jako instytut badawczy non-profit, którego działalność poszerza się o interpretowalność, dopasowanie i naukę o tym, jak modele się uczą.
Wgląd techniczny
Modele EleutherAI wykorzystują architekturę dekodera transformatorowego, ale GPT-J i GPT-NeoX wprowadziły praktyczne rozwiązania inżynieryjne, takie jak obrotowe osadzanie pozycyjne (RoPE) do kodowania pozycji tokenów i równoległe warstwy uwagi i sprzężenia zwrotnego w celu przyspieszenia szkolenia. Co najważniejsze, przeszkolili się w zakresie procesorów TPU i GPU przekazanych w ramach partnerstw, takich jak TPU Research Cloud i CoreWeave firmy Google, pokazując, że rozproszone, finansowane przez sponsorów obliczenia mogą zastąpić korporacyjne centrum danych w połączeniu z otwartym kodem.
Wpływ strategiczny
Strategia dostawcy
Plany dostawców wpływają na to, jakie funkcje Twój zespół będzie mógł dalej tworzyć.
Koszt i budżet
Warunki handlowe i opcje wdrożenia wpływają na długoterminowe koszty i ryzyko.
Ryzyko i bezpieczeństwo
Zachęty firmowe kształtują wady produktów, postawę bezpieczeństwa i otwartość.
Przyszłość EleutherAI
EleutherAI odchodzi od czystego wyścigu w skalowaniu modeli w stronę interpretowalności, przejrzystości danych szkoleniowych i rygorystycznej oceny, czyli obszarów, w których otwarta nauka jest najbardziej potrzebna. Można się spodziewać ciągłej pracy nad zrozumieniem, co modele wewnętrznie reprezentują, publikowaniem dobrze udokumentowanych zbiorów danych i wspieraniem niezależnych badań nad bezpieczeństwem. W miarę jak laboratoria graniczne stają się coraz bardziej tajemnicze, rola EleutherAI jako przeciwwagi interesu publicznego, szkolącej kolejne pokolenia badaczy, prawdopodobnie ma większe znaczenie niż liczba parametrów jakiegokolwiek pojedynczego modelu, który dostarcza.
Implementacja w świecie rzeczywistym
Zbiór danych Pile jest używany przez badaczy na całym świecie do powtarzalnego szkolenia i badania modeli języka otwartego.
GPT-J-6B i GPT-NeoX-20B są wdrażane przez start-upy i naukowców jako bezpłatne alternatywy dla komercyjnych modeli API.
Zestaw ewaluacyjny LM to standardowe narzędzie używane w wielu laboratoriach do porównywania wydajności modeli w setkach zadań.
Niezależni badacze bezpieczeństwa i interpretowalności wykorzystują otwarte wagi EleutherAI do badania wewnętrznych elementów modelu, które ukrywają zamknięte interfejsy API.
Zagrożenia i poręcze
Ogłoszenia o wprowadzeniu na rynek mogą przekroczyć stabilność w rzeczywistych przepływach pracy.
Ceny interfejsów API lub zmiany zasad mogą z dnia na dzień złamać założenia.
Zależność od jednego dostawcy zwiększa koszty uzależnienia i migracji.
Plan wdrożenia
Oceniaj dostawców, korzystając z własnych zadań i zbiorów danych.
Przed integracją przejrzyj warunki dotyczące prywatności, bezpieczeństwa i prawa.
Utrzymuj plan awaryjny dla różnych modeli i dostawców.
Monitoruj informacje o wersji, aby zmiany w planie działania nie zaskoczyły zespołów.
Odkrywaj dalej
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the EleutherAI quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Następny poradnik
Wagi i odchylenia
Często zadawane pytania
What is EleutherAI?
EleutherAI to oddolny kolektyw badawczy non-profit, który był pionierem dużych modeli językowych typu open source, gdy pionierska sztuczna inteligencja była zamknięta za murami korporacji. Udowodniono, że społeczność wolontariuszy może budować i swobodnie udostępniać modele konkurujące z systemami zamkniętymi, zmieniając tym samym, kto będzie mógł uczestniczyć w badaniach nad sztuczną inteligencją.
Jak pierwotnie rozpoczęła się działalność EleutherAI w 2020 r.?
EleutherAI zaczynało jako nieformalny kolektyw wolontariuszy na Discordzie zorganizowany w celu odtworzenia zamkniętego wówczas GPT-3.
Co to jest „Stos”?
The Pile to duży, różnorodny, publicznie udostępniany korpus tekstowy EleutherAI stworzony do trenowania i badania modeli językowych.
Który z nich jest modelem języka EleutherAI?
GPT-NeoX-20B to jeden z flagowych otwartych modeli EleutherAI; pozostali pochodzą z Google lub Meta.
Do czego służy uprząż ewaluacyjna LM?
Uprząż jest szeroko stosowanym, otwartym narzędziem do ustandaryzowanej oceny modeli językowych w setkach testów porównawczych.
W jaki sposób EleutherAI uzyskał obliczenia umożliwiające uczenie dużych modeli na wczesnym etapie?
Ze względu na brak korporacyjnego centrum danych, EleutherAI do szkolenia swoich modeli korzystała z zasobów TPU i GPU przekazanych przez sponsorów.