LegközelebbKövetkező útmutató
Súlyok és torzítások
Vállalatok
Vállalkozási ÚTMUTATÓ
Az EleutherAI egy alulról építkező nonprofit kutatócsoport, amely úttörő szerepet játszott a nyílt forráskódú nagy nyelvi modellekben, amikor a határ menti mesterséges intelligencia a vállalati falak mögé zárva volt.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
It proved that a volunteer community could build and freely release models rivaling closed systems, reshaping who gets to participate in AI research.
Az EleutherAI 2020 júliusában indult Discord közösségként, amelyet Connor Leahy, Sid Black és Leo Gao szervezett, és eredetileg a OpenAI GPT-3-ának megismétlésére irányult. Az ilyen modellek betanításához először megépítették és kiadták a The Pile-t, egy 825 GB-os kurált szöveges adatkészletet, amely szabványos nyílt képzési korpusz lett. Ezután kiadták a GPT-Neo-t, a GPT-J-6B-t és a 20 milliárd paraméteres GPT-NeoX-20B-t, koruk legnagyobb nyíltan elérhető nyelvi modelljei között. Eszközeik, köztük a GPT-NeoX oktatókönyvtár és az LM Evaluation Harness, amelyet iparági szinten benchmarkinghoz használtak, olyan infrastruktúrává váltak, amelyre mások építettek. 2023-ban az EleutherAI nonprofit kutatóintézetté formálódott, amely az értelmezhetőségre, az összehangolásra és a modellek tanulásának tudományára bővült.
A Pile adatkészletet a kutatók világszerte használják nyílt nyelvi modellek reprodukálható képzésére és tanulmányozására.
A GPT-J-6B-t és a GPT-NeoX-20B-t a startupok és a tudósok a kereskedelmi API-modellek ingyenes alternatívájaként alkalmazzák.
Az LM Evaluation Harness az a szabványos eszköz, amelyet sok laboratórium használ a modell teljesítményének összehasonlítására több száz feladat között.
A független biztonsági és értelmezhetőségi kutatók az EleutherAI nyitott súlyozását használják a zárt API-k által elrejtett modellbelsők tanulmányozására.
Az EleutherAI a puszta modellskálázási versenyről az értelmezhetőség, a képzési adatok átláthatósága és a szigorú értékelés irányába mozdul el, amely területeken a legnagyobb szükség van a nyílt tudományra. Folyamatos munka várható annak megértésére, hogy a modellek belsőleg mit képviselnek, jól dokumentált adatkészleteket kell közzétenni, és támogatni kell a független biztonsági kutatásokat. Ahogy a határlaboratóriumok egyre titkosabbak, az EleutherAI közérdekű ellensúlyként, a kutatók következő generációjának képzéseként való szerepe valószínűleg többet jelent, mint az általa szállított modellek paramétereinek száma.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
Az EleutherAI egy alulról építkező nonprofit kutatócsoport, amely úttörő szerepet játszott a nyílt forráskódú nagy nyelvi modellekben, amikor a határ menti mesterséges intelligencia a vállalati falak mögé zárva volt. Bebizonyosodott, hogy egy önkéntes közösség képes a zárt rendszerekkel rivalizáló modelleket felépíteni és szabadon kiadni, átformálni, hogy ki vehet részt az AI-kutatásban.
EleutherAI’s history page describes it as beginning in July 2020 as a Discord server for discussing GPT-3 and open language models.
A Pile egy nagy, változatos, nyíltan kiadott EleutherAI szövegkorpusz, amely nyelvi modellek képzésére és tanulmányozására készült.
A GPT-NeoX-20B az EleutherAI egyik zászlóshajó nyitott modellje; a többi a Google vagy a Meta forrásból származik.
A kábelköteg egy széles körben elfogadott nyílt eszköz a nyelvi modellek szabványosított értékeléséhez több száz benchmarkon.
EleutherAI’s paper on open research acknowledges support and contributions from CoreWeave and TPU Research Cloud, among other supporters.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Súlyok és torzítások
Vállalatok