PRŮVODCE společnostmi
EleutherAI
EleutherAI je místní neziskový výzkumný tým, který byl průkopníkem velkých jazykových modelů s otevřeným zdrojovým kódem, když byla hraniční umělá inteligence uzavřena za korporátními zdmi.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Na této stránce2 minuty čtení
Přehled
It proved that a volunteer community could build and freely release models rivaling closed systems, reshaping who gets to participate in AI research.
Hluboký ponor
EleutherAI začala v červenci 2020 jako komunita Discord organizovaná Connorem Leahym, Sidem Blackem a Leo Gao, která původně měla za cíl replikovat GPT-3 OpenAI. Pro trénování takových modelů nejprve vytvořili a vydali The Pile, 825GB soubor textových dat, který se stal standardním otevřeným tréninkovým korpusem. Poté vydali GPT-Neo, GPT-J-6B a GPT-NeoX-20B s 20 miliardami parametrů, mezi největší volně dostupné jazykové modely své doby. Jejich nástroje, včetně školicí knihovny GPT-NeoX a LM Evaluation Harness používané v celém odvětví pro srovnávání, se staly infrastrukturou, na které ostatní stavěli. V roce 2023 se EleutherAI formalizovala jako neziskový výzkumný ústav, který se rozšířil o interpretovatelnost, zarovnání a vědu o tom, jak se modely učí.
Real-World Implementace
Datový soubor Pile používají výzkumníci po celém světě k reprodukovatelnému výcviku a studiu otevřených jazykových modelů.
GPT-J-6B a GPT-NeoX-20B jsou nasazovány startupy a akademiky jako bezplatné alternativy ke komerčním modelům API.
LM Evaluation Harness je standardní nástroj, který mnoho laboratoří používá k porovnávání výkonu modelu napříč stovkami úloh.
Nezávislí výzkumníci v oblasti bezpečnosti a interpretovatelnosti používají otevřené váhy EleutherAI ke studiu vnitřních částí modelu, které uzavřené API skrývají.
Budoucnost EleutherAI
EleutherAI se posouvá od čistého závodu škálování modelů směrem k interpretovatelnosti, transparentnosti tréninkových dat a přísnému vyhodnocování, což jsou oblasti, kde je otevřená věda nejvíce potřeba. Očekávejte pokračující práci na pochopení toho, co modely interně reprezentují, vydávání dobře zdokumentovaných souborů dat a podporu nezávislého výzkumu bezpečnosti. Vzhledem k tomu, že hraniční laboratoře jsou stále tajnější, role EleutherAI jako protiváhy veřejného zájmu, která školí další generaci výzkumníků, pravděpodobně záleží více než na počtu parametrů jakéhokoli jednotlivého modelu, který dodává.
Uvedení do praxe
Proč na tom záleží
- Strategie dodavatelů. Plány dodavatelů ovlivňují, jaké funkce může váš tým dále vybudovat.
- Cena a rozpočet. Komerční podmínky a možnosti nasazení ovlivňují dlouhodobé náklady a rizika.
- Riziko a bezpečnost. Firemní pobídky utvářejí výchozí produkty, bezpečný postoj a otevřenost.
Pozor na
- Oznámení o uvedení mohou předstihnout stabilitu v reálných výrobních pracovních postupech.
- Změny cen API nebo politik mohou přes noc narušit předpoklady.
- Závislost na jediném dodavateli zvyšuje náklady na uzamčení a migraci.
Další kroky
- Vyhodnoťte poskytovatele pomocí vlastních úkolů a datových sad.
- Před integrací si přečtěte podmínky ochrany soukromí, zabezpečení a právní podmínky.
- Udržujte záložní plán napříč modely nebo dodavateli.
- Sledujte poznámky k vydání, aby změny plánu nepřekvapily týmy.
Pokračujte v objevování
Newsletter zdarma
Získejte denní přehled o AI
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Take the EleutherAI quiz
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Často kladené otázky
What is EleutherAI?
EleutherAI je místní neziskový výzkumný tým, který byl průkopníkem velkých jazykových modelů s otevřeným zdrojovým kódem, když byla hraniční umělá inteligence uzavřena za korporátními zdmi. Ukázalo se, že komunita dobrovolníků může vytvářet a volně vydávat modely soupeřící s uzavřenými systémy a přetvářet tak, kdo se může podílet na výzkumu AI.
How did EleutherAI first bring together its research community?
EleutherAI’s history page describes it as beginning in July 2020 as a Discord server for discussing GPT-3 and open language models.
Co je 'The Pile'?
The Pile je velký, rozmanitý, otevřeně vydaný textový korpus EleutherAI vytvořený pro trénování a studium jazykových modelů.
Který z nich je jazykový model EleutherAI?
GPT-NeoX-20B je jedním z vlajkových lodí otevřených modelů EleutherAI; ostatní pocházejí z Google nebo Meta.
K čemu slouží LM Evaluation Harness?
Postroj je široce přijímaný otevřený nástroj pro standardizované hodnocení jazykových modelů na stovkách benchmarků.
Which organizations are named in EleutherAI’s retrospective as research supporters?
EleutherAI’s paper on open research acknowledges support and contributions from CoreWeave and TPU Research Cloud, among other supporters.
Učte se dál
Související průvodci
Pro toto téma bylo vybráno více průvodců