NastępnyNastępny poradnik
Wagi i odchylenia
Firmy
PRZEWODNIK FIRM
EleutherAI
EleutherAI to oddolny kolektyw badawczy non-profit, który był pionierem dużych modeli językowych typu open source, gdy pionierska sztuczna inteligencja była zamknięta za murami korporacji.
Posłuchaj tego przewodnikaOpowiadane przez sztuczną inteligencję · ~2 min
Na tej stronie2 minuty czytania
Przegląd
Udowodniono, że społeczność wolontariuszy może budować i swobodnie udostępniać modele konkurujące z systemami zamkniętymi, zmieniając tym samym, kto będzie mógł uczestniczyć w badaniach nad sztuczną inteligencją.
Głębokie nurkowanie
EleutherAI powstało w lipcu 2020 r. jako społeczność Discord zorganizowana przez Connora Leahy'ego, Sida Blacka i Leo Gao, której pierwotnym celem było odtworzenie GPT-3 OpenAI. Aby wyszkolić takie modele, najpierw zbudowano i udostępniono The Pile, wyselekcjonowany zbiór danych tekstowych o pojemności 825 GB, który stał się standardowym otwartym korpusem szkoleniowym. Następnie wypuścili GPT-Neo, GPT-J-6B i GPT-NeoX-20B o 20 miliardach parametrów, jedne z największych ogólnodostępnych modeli językowych swoich czasów. Ich narzędzia, w tym biblioteka szkoleniowa GPT-NeoX i LM Evaluation Harness wykorzystywane w całej branży do testów porównawczych, stały się infrastrukturą, na której budowali inni. W 2023 r. EleutherAI sformalizowano jako instytut badawczy non-profit, którego działalność poszerza się o interpretowalność, dopasowanie i naukę o tym, jak modele się uczą.
Implementacja w świecie rzeczywistym
Zbiór danych Pile jest używany przez badaczy na całym świecie do powtarzalnego szkolenia i badania modeli języka otwartego.
GPT-J-6B i GPT-NeoX-20B są wdrażane przez start-upy i naukowców jako bezpłatne alternatywy dla komercyjnych modeli API.
Zestaw ewaluacyjny LM to standardowe narzędzie używane w wielu laboratoriach do porównywania wydajności modeli w setkach zadań.
Niezależni badacze bezpieczeństwa i interpretowalności wykorzystują otwarte wagi EleutherAI do badania wewnętrznych elementów modelu, które ukrywają zamknięte interfejsy API.
Przyszłość EleutherAI
EleutherAI odchodzi od czystego wyścigu w skalowaniu modeli w stronę interpretowalności, przejrzystości danych szkoleniowych i rygorystycznej oceny, czyli obszarów, w których otwarta nauka jest najbardziej potrzebna. Można się spodziewać ciągłej pracy nad zrozumieniem, co modele wewnętrznie reprezentują, publikowaniem dobrze udokumentowanych zbiorów danych i wspieraniem niezależnych badań nad bezpieczeństwem. W miarę jak laboratoria graniczne stają się coraz bardziej tajemnicze, rola EleutherAI jako przeciwwagi interesu publicznego, szkolącej kolejne pokolenia badaczy, prawdopodobnie ma większe znaczenie niż liczba parametrów jakiegokolwiek pojedynczego modelu, który dostarcza.
Wdrażanie tego w praktykę
Dlaczego to ma znaczenie
- Strategia dostawcy. Plany dostawców wpływają na to, jakie funkcje Twój zespół będzie mógł dalej tworzyć.
- Koszt i budżet. Warunki handlowe i opcje wdrożenia wpływają na długoterminowe koszty i ryzyko.
- Ryzyko i bezpieczeństwo. Zachęty firmowe kształtują wady produktów, postawę bezpieczeństwa i otwartość.
Uważaj na
- Ogłoszenia o wprowadzeniu na rynek mogą przekroczyć stabilność w rzeczywistych przepływach pracy.
- Ceny interfejsów API lub zmiany zasad mogą z dnia na dzień złamać założenia.
- Zależność od jednego dostawcy zwiększa koszty uzależnienia i migracji.
Kolejne kroki
- Oceniaj dostawców, korzystając z własnych zadań i zbiorów danych.
- Przed integracją przejrzyj warunki dotyczące prywatności, bezpieczeństwa i prawa.
- Utrzymuj plan awaryjny dla różnych modeli i dostawców.
- Monitoruj informacje o wersji, aby zmiany w planie działania nie zaskoczyły zespołów.
Odkrywaj dalej
Darmowy newsletter
Otrzymuj codzienne podsumowanie AI
Trzy zweryfikowane historie AI każdego poranka w dni robocze, napisane prostym angielskim. Bezpłatne na zawsze, bez reklam.
Jedno e‑mail każdego dnia roboczego. Wypisz się jednym kliknięciem. Nigdy nie sprzedajemy ani nie udostępniamy Twojego adresu.
Sprawdź się
Take the EleutherAI quiz
Natychmiastowa informacja zwrotna na każde pytanie oraz udostępnialny certyfikat z weryfikowalnym ID po zaliczeniu kursu.
Wspieraj darmową edukację AI. AI Understanding jest organizacją non-profit 501(c)(3) — bez reklam, bez płatnej ściany, zawsze. Przekaż darowiznę
Często zadawane pytania
Co to jest EleutherAI?
EleutherAI to oddolny kolektyw badawczy non-profit, który był pionierem dużych modeli językowych typu open source, gdy pionierska sztuczna inteligencja była zamknięta za murami korporacji. Udowodniono, że społeczność wolontariuszy może budować i swobodnie udostępniać modele konkurujące z systemami zamkniętymi, zmieniając tym samym, kto będzie mógł uczestniczyć w badaniach nad sztuczną inteligencją.
How did EleutherAI first bring together its research community?
EleutherAI’s history page describes it as beginning in July 2020 as a Discord server for discussing GPT-3 and open language models.
Co to jest „Stos”?
The Pile to duży, różnorodny, publicznie udostępniany korpus tekstowy EleutherAI stworzony do trenowania i badania modeli językowych.
Który z nich jest modelem języka EleutherAI?
GPT-NeoX-20B to jeden z flagowych otwartych modeli EleutherAI; pozostali pochodzą z Google lub Meta.
Do czego służy uprząż ewaluacyjna LM?
Uprząż jest szeroko stosowanym, otwartym narzędziem do ustandaryzowanej oceny modeli językowych w setkach testów porównawczych.
Which organizations are named in EleutherAI’s retrospective as research supporters?
EleutherAI’s paper on open research acknowledges support and contributions from CoreWeave and TPU Research Cloud, among other supporters.
Ucz się dalej
Powiązane przewodniki
Wybrano więcej przewodników na ten temat