Vállalkozási ÚTMUTATÓ

EleutherAI

Az EleutherAI egy alulról építkező nonprofit kutatócsoport, amely úttörő szerepet játszott a nyílt forráskódú nagy nyelvi modellekben, amikor a határ menti mesterséges intelligencia a vállalati falak mögé zárva volt.

Hallgassa meg ezt az útmutatótAI-narrált · ~2 min

Ezen az oldalon2 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. Az EleutherAI jövője
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

It proved that a volunteer community could build and freely release models rivaling closed systems, reshaping who gets to participate in AI research.

Mély merülés

Az EleutherAI 2020 júliusában indult Discord közösségként, amelyet Connor Leahy, Sid Black és Leo Gao szervezett, és eredetileg a OpenAI GPT-3-ának megismétlésére irányult. Az ilyen modellek betanításához először megépítették és kiadták a The Pile-t, egy 825 GB-os kurált szöveges adatkészletet, amely szabványos nyílt képzési korpusz lett. Ezután kiadták a GPT-Neo-t, a GPT-J-6B-t és a 20 milliárd paraméteres GPT-NeoX-20B-t, koruk legnagyobb nyíltan elérhető nyelvi modelljei között. Eszközeik, köztük a GPT-NeoX oktatókönyvtár és az LM Evaluation Harness, amelyet iparági szinten benchmarkinghoz használtak, olyan infrastruktúrává váltak, amelyre mások építettek. 2023-ban az EleutherAI nonprofit kutatóintézetté formálódott, amely az értelmezhetőségre, az összehangolásra és a modellek tanulásának tudományára bővült.

Valós megvalósítás

A Pile adatkészletet a kutatók világszerte használják nyílt nyelvi modellek reprodukálható képzésére és tanulmányozására.

A GPT-J-6B-t és a GPT-NeoX-20B-t a startupok és a tudósok a kereskedelmi API-modellek ingyenes alternatívájaként alkalmazzák.

Az LM Evaluation Harness az a szabványos eszköz, amelyet sok laboratórium használ a modell teljesítményének összehasonlítására több száz feladat között.

A független biztonsági és értelmezhetőségi kutatók az EleutherAI nyitott súlyozását használják a zárt API-k által elrejtett modellbelsők tanulmányozására.

Az EleutherAI jövője

Az EleutherAI a puszta modellskálázási versenyről az értelmezhetőség, a képzési adatok átláthatósága és a szigorú értékelés irányába mozdul el, amely területeken a legnagyobb szükség van a nyílt tudományra. Folyamatos munka várható annak megértésére, hogy a modellek belsőleg mit képviselnek, jól dokumentált adatkészleteket kell közzétenni, és támogatni kell a független biztonsági kutatásokat. Ahogy a határlaboratóriumok egyre titkosabbak, az EleutherAI közérdekű ellensúlyként, a kutatók következő generációjának képzéseként való szerepe valószínűleg többet jelent, mint az általa szállított modellek paramétereinek száma.

A gyakorlatba ültetés

Miért számít

  • Szállítói stratégia. A szállítói ütemterv befolyásolja, hogy csapata milyen funkciókat építhet fel legközelebb.
  • Költség és költségvetés. A kereskedelmi feltételek és a telepítési lehetőségek befolyásolják a hosszú távú költségeket és kockázatokat.
  • Kockázat és biztonság. A vállalati ösztönzők alakítják a termék alapértelmezett beállításait, a biztonsági testtartást és a nyitottságot.

Vigyázz

  • Az indítási bejelentések meghaladhatják a valódi termelési munkafolyamatok stabilitását.
  • Az API-árazás vagy az irányelvváltások egyik napról a másikra megdönthetik a feltételezéseket.
  • Az egyszállítótól való függőség növeli a bezárási és migrációs költségeket.

Következő lépések

  1. Értékelje a szolgáltatókat saját feladatai és adatkészletei segítségével.
  2. Az integráció előtt tekintse át az adatvédelmi, biztonsági és jogi feltételeket.
  3. Tartsa fenn a tartalék tervet a modellek vagy szállítók között.
  4. Figyelje a kiadási megjegyzéseket, hogy az ütemterv változásai ne lepjék meg a csapatokat.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the EleutherAI quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

What is EleutherAI?

Az EleutherAI egy alulról építkező nonprofit kutatócsoport, amely úttörő szerepet játszott a nyílt forráskódú nagy nyelvi modellekben, amikor a határ menti mesterséges intelligencia a vállalati falak mögé zárva volt. Bebizonyosodott, hogy egy önkéntes közösség képes a zárt rendszerekkel rivalizáló modelleket felépíteni és szabadon kiadni, átformálni, hogy ki vehet részt az AI-kutatásban.

How did EleutherAI first bring together its research community?

EleutherAI’s history page describes it as beginning in July 2020 as a Discord server for discussing GPT-3 and open language models.

Mi az a "The Pile"?

A Pile egy nagy, változatos, nyíltan kiadott EleutherAI szövegkorpusz, amely nyelvi modellek képzésére és tanulmányozására készült.

Ezek közül melyik az EleutherAI nyelvi modell?

A GPT-NeoX-20B az EleutherAI egyik zászlóshajó nyitott modellje; a többi a Google vagy a Meta forrásból származik.

Mire használható az LM kiértékelő kábelköteg?

A kábelköteg egy széles körben elfogadott nyílt eszköz a nyelvi modellek szabványosított értékeléséhez több száz benchmarkon.

Which organizations are named in EleutherAI’s retrospective as research supporters?

EleutherAI’s paper on open research acknowledges support and contributions from CoreWeave and TPU Research Cloud, among other supporters.