EleutherAI
Az EleutherAI egy alulról építkező nonprofit kutatócsoport, amely úttörő szerepet játszott a nyílt forráskódú nagy nyelvi modellekben, amikor a határ menti mesterséges intelligencia a vállalati falak mögé zárva volt.
Áttekintés
It proved that a volunteer community could build and freely release models rivaling closed systems, reshaping who gets to participate in AI research.
Mély merülés
Az EleutherAI 2020 júliusában indult Discord közösségként, amelyet Connor Leahy, Sid Black és Leo Gao szervezett, és eredetileg a OpenAI GPT-3-ának megismétlésére irányult. Az ilyen modellek betanításához először megépítették és kiadták a The Pile-t, egy 825 GB-os kurált szöveges adatkészletet, amely szabványos nyílt képzési korpusz lett. Ezután kiadták a GPT-Neo-t, a GPT-J-6B-t és a 20 milliárd paraméteres GPT-NeoX-20B-t, koruk legnagyobb nyíltan elérhető nyelvi modelljei között. Eszközeik, köztük a GPT-NeoX oktatókönyvtár és az LM Evaluation Harness, amelyet iparági szinten benchmarkinghoz használtak, olyan infrastruktúrává váltak, amelyre mások építettek. 2023-ban az EleutherAI nonprofit kutatóintézetté formálódott, amely az értelmezhetőségre, az összehangolásra és a modellek tanulásának tudományára bővült.
Technikai betekintés
Az EleutherAI modelljei a transzformátor dekóder architektúráját használják, de a GPT-J és a GPT-NeoX olyan gyakorlati mérnöki megoldásokat vezetett be, mint a Rotary Position Embedding (RoPE) a token pozíciók kódolásához és a párhuzamos figyelem és előrecsatolás rétegek a képzés felgyorsítása érdekében. Lényeges, hogy olyan TPU-kra és GPU-kra oktattak, amelyeket olyan partnerségeken keresztül adományoztak, mint a Google TPU Research Cloud és a CoreWeave, megmutatva, hogy az elosztott, szponzorok által finanszírozott számítások helyettesíthetik a vállalati adatközpontokat, ha nyílt kóddal párosítják.
Stratégiai hatás
Szállítói stratégia
A szállítói ütemterv befolyásolja, hogy csapata milyen funkciókat építhet fel legközelebb.
Költség és költségvetés
A kereskedelmi feltételek és a telepítési lehetőségek befolyásolják a hosszú távú költségeket és kockázatokat.
Kockázat és biztonság
A vállalati ösztönzők alakítják a termék alapértelmezett beállításait, a biztonsági testtartást és a nyitottságot.
Az EleutherAI jövője
Az EleutherAI a puszta modellskálázási versenyről az értelmezhetőség, a képzési adatok átláthatósága és a szigorú értékelés irányába mozdul el, amely területeken a legnagyobb szükség van a nyílt tudományra. Folyamatos munka várható annak megértésére, hogy a modellek belsőleg mit képviselnek, jól dokumentált adatkészleteket kell közzétenni, és támogatni kell a független biztonsági kutatásokat. Ahogy a határlaboratóriumok egyre titkosabbak, az EleutherAI közérdekű ellensúlyként, a kutatók következő generációjának képzéseként való szerepe valószínűleg többet jelent, mint az általa szállított modellek paramétereinek száma.
Valós megvalósítás
A Pile adatkészletet a kutatók világszerte használják nyílt nyelvi modellek reprodukálható képzésére és tanulmányozására.
A GPT-J-6B-t és a GPT-NeoX-20B-t a startupok és a tudósok a kereskedelmi API-modellek ingyenes alternatívájaként alkalmazzák.
Az LM Evaluation Harness az a szabványos eszköz, amelyet sok laboratórium használ a modell teljesítményének összehasonlítására több száz feladat között.
A független biztonsági és értelmezhetőségi kutatók az EleutherAI nyitott súlyozását használják a zárt API-k által elrejtett modellbelsők tanulmányozására.
Kockázatok és védőkorlátok
Az indítási bejelentések meghaladhatják a valódi termelési munkafolyamatok stabilitását.
Az API-árazás vagy az irányelvváltások egyik napról a másikra megdönthetik a feltételezéseket.
Az egyszállítótól való függőség növeli a bezárási és migrációs költségeket.
Végrehajtási ütemterv
Értékelje a szolgáltatókat saját feladatai és adatkészletei segítségével.
Az integráció előtt tekintse át az adatvédelmi, biztonsági és jogi feltételeket.
Tartsa fenn a tartalék tervet a modellek vagy szállítók között.
Figyelje a kiadási megjegyzéseket, hogy az ütemterv változásai ne lepjék meg a csapatokat.
Folytassa a felfedezést
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the EleutherAI quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Következő útmutató
Súlyok és torzítások
Gyakran ismételt kérdések
What is EleutherAI?
Az EleutherAI egy alulról építkező nonprofit kutatócsoport, amely úttörő szerepet játszott a nyílt forráskódú nagy nyelvi modellekben, amikor a határ menti mesterséges intelligencia a vállalati falak mögé zárva volt. Bebizonyosodott, hogy egy önkéntes közösség képes a zárt rendszerekkel rivalizáló modelleket felépíteni és szabadon kiadni, átformálni, hogy ki vehet részt az AI-kutatásban.
Hogyan indult el eredetileg az EleutherAI 2020-ban?
Az EleutherAI önkéntesekből álló informális Discord-kollektívaként indult, amelyet az akkor már lezárt GPT-3 megismétlésére szerveztek.
Mi az a "The Pile"?
A Pile egy nagy, változatos, nyíltan kiadott EleutherAI szövegkorpusz, amely nyelvi modellek képzésére és tanulmányozására készült.
Ezek közül melyik az EleutherAI nyelvi modell?
A GPT-NeoX-20B az EleutherAI egyik zászlóshajó nyitott modellje; a többi a Google vagy a Meta forrásból származik.
Mire használható az LM kiértékelő kábelköteg?
A kábelköteg egy széles körben elfogadott nyílt eszköz a nyelvi modellek szabványosított értékeléséhez több száz benchmarkon.
Hogyan szerezte meg az EleutherAI a számítástechnikát a nagy modellek korai betanításához?
Vállalati adatközpont hiányában az EleutherAI szponzorok által adományozott TPU- és GPU-erőforrásokra támaszkodott modelljei betanításához.