EleutherAI
EleutherAI je místní neziskový výzkumný tým, který byl průkopníkem velkých jazykových modelů s otevřeným zdrojovým kódem, když byla hraniční umělá inteligence uzavřena za korporátními zdmi.
Přehled
It proved that a volunteer community could build and freely release models rivaling closed systems, reshaping who gets to participate in AI research.
Hluboký ponor
EleutherAI začala v červenci 2020 jako komunita Discord organizovaná Connorem Leahym, Sidem Blackem a Leo Gao, která původně měla za cíl replikovat GPT-3 OpenAI. Pro trénování takových modelů nejprve vytvořili a vydali The Pile, 825GB soubor textových dat, který se stal standardním otevřeným tréninkovým korpusem. Poté vydali GPT-Neo, GPT-J-6B a GPT-NeoX-20B s 20 miliardami parametrů, mezi největší volně dostupné jazykové modely své doby. Jejich nástroje, včetně školicí knihovny GPT-NeoX a LM Evaluation Harness používané v celém odvětví pro srovnávání, se staly infrastrukturou, na které ostatní stavěli. V roce 2023 se EleutherAI formalizovala jako neziskový výzkumný ústav, který se rozšířil o interpretovatelnost, zarovnání a vědu o tom, jak se modely učí.
Technický přehled
Modely EleutherAI využívají architekturu dekodéru transformátoru, ale GPT-J a GPT-NeoX zavedly praktické inženýrské možnosti, jako je Rotary Positional Embeddings (RoPE) pro kódování pozic tokenů a paralelizované vrstvy pozornosti a dopředné vazby pro urychlení tréninku. Zásadní je, že trénovali na TPU a GPU darovaných prostřednictvím partnerství, jako je TPU Research Cloud a CoreWeave společnosti Google, což ukazuje, že distribuovaný výpočet financovaný sponzory může nahradit podnikové datové centrum, když je spárován s otevřeným kódem.
Strategický dopad
Strategie dodavatelů
Plány dodavatelů ovlivňují, jaké funkce může váš tým dále vybudovat.
Cena a rozpočet
Komerční podmínky a možnosti nasazení ovlivňují dlouhodobé náklady a rizika.
Riziko a bezpečnost
Firemní pobídky utvářejí výchozí produkty, bezpečný postoj a otevřenost.
Budoucnost EleutherAI
EleutherAI se posouvá od čistého závodu škálování modelů směrem k interpretovatelnosti, transparentnosti tréninkových dat a přísnému vyhodnocování, což jsou oblasti, kde je otevřená věda nejvíce potřeba. Očekávejte pokračující práci na pochopení toho, co modely interně reprezentují, vydávání dobře zdokumentovaných souborů dat a podporu nezávislého výzkumu bezpečnosti. Vzhledem k tomu, že hraniční laboratoře jsou stále tajnější, role EleutherAI jako protiváhy veřejného zájmu, která školí další generaci výzkumníků, pravděpodobně záleží více než na počtu parametrů jakéhokoli jednotlivého modelu, který dodává.
Real-World Implementace
Datový soubor Pile používají výzkumníci po celém světě k reprodukovatelnému výcviku a studiu otevřených jazykových modelů.
GPT-J-6B a GPT-NeoX-20B jsou nasazovány startupy a akademiky jako bezplatné alternativy ke komerčním modelům API.
LM Evaluation Harness je standardní nástroj, který mnoho laboratoří používá k porovnávání výkonu modelu napříč stovkami úloh.
Nezávislí výzkumníci v oblasti bezpečnosti a interpretovatelnosti používají otevřené váhy EleutherAI ke studiu vnitřních částí modelu, které uzavřené API skrývají.
Rizika a zábradlí
Oznámení o uvedení mohou předstihnout stabilitu v reálných výrobních pracovních postupech.
Změny cen API nebo politik mohou přes noc narušit předpoklady.
Závislost na jediném dodavateli zvyšuje náklady na uzamčení a migraci.
Plán implementace
Vyhodnoťte poskytovatele pomocí vlastních úkolů a datových sad.
Před integrací si přečtěte podmínky ochrany soukromí, zabezpečení a právní podmínky.
Udržujte záložní plán napříč modely nebo dodavateli.
Sledujte poznámky k vydání, aby změny plánu nepřekvapily týmy.
Pokračujte v objevování
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the EleutherAI quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Další průvodce
Váhy a odchylky
Často kladené otázky
What is EleutherAI?
EleutherAI je místní neziskový výzkumný tým, který byl průkopníkem velkých jazykových modelů s otevřeným zdrojovým kódem, když byla hraniční umělá inteligence uzavřena za korporátními zdmi. Ukázalo se, že komunita dobrovolníků může vytvářet a volně vydávat modely soupeřící s uzavřenými systémy a přetvářet tak, kdo se může podílet na výzkumu AI.
Jak EleutherAI původně začala v roce 2020?
EleutherAI začínal jako neformální Discord kolektiv dobrovolníků organizovaných k replikaci tehdy uzavřeného GPT-3.
Co je 'The Pile'?
The Pile je velký, rozmanitý, otevřeně vydaný textový korpus EleutherAI vytvořený pro trénování a studium jazykových modelů.
Který z nich je jazykový model EleutherAI?
GPT-NeoX-20B je jedním z vlajkových lodí otevřených modelů EleutherAI; ostatní pocházejí z Google nebo Meta.
K čemu slouží LM Evaluation Harness?
Postroj je široce přijímaný otevřený nástroj pro standardizované hodnocení jazykových modelů na stovkách benchmarků.
Jak EleutherAI získala výpočetní prostředky pro trénování velkých modelů na začátku?
Jelikož EleutherAI postrádalo podnikové datové centrum, spoléhalo se na zdroje TPU a GPU darované sponzory při trénování svých modelů.