Műszaki ÚTMUTATÓ

Ray az elosztott AI-hoz

A Ray egy nyílt forráskódú keretrendszer, amely megkönnyíti a Python és az AI-munkaterhelések méretezését laptopról több ezer gépből álló fürtre.

Hallgassa meg ezt az útmutatótAI-narrált · ~2 min

Ezen az oldalon2 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. A Ray jövője az elosztott mesterséges intelligencia számára
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

Ez azért fontos, mert egyszerű, egységes módot ad a betanítás, a hangolás, az adatfeldolgozás és a kiszolgálás elosztására anélkül, hogy mindegyikhez át kellene írnia a kódot.

Mély merülés

A Ray alapötlete az, hogy a szokásos Python-függvényeket és osztályokat minimális változtatással elosztott egységekké alakítsa. A távoli „feladatként” megjelölt függvény aszinkron módon fut a fürt bármely dolgozóján; a távoli „színészként” megjelölt osztály egy dolgozón élő állapotfüggő szolgáltatássá válik. A Ray könnyű határidős ügyleteket (objektumhivatkozásokat) ad vissza, és kezeli az ütemezést, az adatmozgatást egy megosztott objektumtárolón keresztül, valamint a hibatűrést. Ezen az alapon felül találhatók a célra épített könyvtárak: Ray Train az elosztott modellképzéshez, Ray Tune a hiperparaméteres kereséshez, Ray Data az adatfolyamok streameléséhez, RLlib a megerősítő tanuláshoz és Ray Serve a méretezhető modellszolgáltatáshoz. Ez lehetővé teszi, hogy egy fürt a teljes ML-munkafolyamatot a végétől a végéig kezelje.

Valós megvalósítás

A Ray Tune futtatásával több száz hiperparaméter-kombinációban kereshet párhuzamosan egy GPU-fürtben, hogy megtalálja a legjobb modellkonfigurációt

A Ray Train használata a mély tanulási modell betanításának elosztására számos GPU-n és csomóponton, minimális kódmódosítással

Kötegelt következtetési folyamat építése Ray Data segítségével rekordok millióinak eléréséhez egy modellen keresztül egy klaszteren keresztül

Több modell telepítése egyetlen automatikus skálázási végpont mögé a Ray Serve segítségével a változó éles forgalom kezelésére

A Ray jövője az elosztott mesterséges intelligencia számára

A Ray a nagyméretű mesterséges intelligencia gerincévé vált, különösen a nagy nyelvi modellek képzésében és kiszolgálásában. Növekedés várható az LLM-specifikus kiszolgálás terén (Ray Serve vLLM-mel), heterogén GPU-ütemezés, szorosabb integráció a KubeRay-en keresztül az adattókkal és a Kubernetes-szel, valamint jobb automatikus skálázás a tüskés generatív munkaterhelésekhez. Ahogy a modellek növekszenek, Ray szerepe a több csomópontos képzésben, az RLHF-folyamatok és a kötegelt következtetések lebonyolításában valószínűleg bővülni fog több ezer gyorsítón keresztül.

A gyakorlatba ültetés

Miért számít

  • Költség és költségvetés. Az építészeti döntések évekig növelik a teljesítményt és a működési költségeket.
  • Tisztább döntések. A technikai oktatás segít a csapatoknak a megfelelő verem kiválasztásában, nem csak a legújabb készletben.
  • Minőségellenőrzés. A jobb mérnöki döntések csökkentik a termelés megbízhatósági incidenseit.

Vigyázz

  • Egy benchmark optimalizálása elrejtheti a rendszer általános hiányosságait.
  • Az infrastrukturális és karbantartási költségeket gyakran alábecsülik.
  • A biztonsági és megfigyelhetőségi hiányosságok a rendszerek bonyolultabbá válásával nőhetnek.

Következő lépések

  1. Határozza meg a késleltetési, minőségi és költségcélokat a megvalósítás előtt.
  2. Benchmark reális terhelési és adatviszonyok mellett.
  3. Műszerfigyelés a hibák, az eltolódás és a felhasználói hatások szempontjából.
  4. A méretezés előtt készítse elő a visszagörgetési és az incidensre adott válaszútvonalakat.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the Ray for Distributed AI quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mi az a Ray for Distributed AI?

A Ray egy nyílt forráskódú keretrendszer, amely megkönnyíti a Python és az AI-munkaterhelések méretezését laptopról több ezer gépből álló fürtre. Ez azért fontos, mert egyszerű, egységes módot ad a betanítás, a hangolás, az adatfeldolgozás és a kiszolgálás elosztására anélkül, hogy mindegyik kódját át kellene írni.

Melyik problémát oldja meg elsősorban Ray?

A Ray egységes, egyszerű módszert biztosít a számítások sok gépen való elosztására anélkül, hogy átírná a kódot az egyes terheléstípusokhoz.

Ray-ben mi a különbség a „feladat” és a „színész” között?

A feladatok állapot nélküli, párhuzamosan futó távoli függvények, míg a szereplők hosszú életű objektumok, amelyek állapotot tartanak, mint egy betöltött modell.

Mit ad vissza Ray azonnal, amikor elindít egy távoli feladatot?

Ray azonnal visszaad egy könnyű jövőt, így a munka aszinkron módon zajlik; meghívja a ray.get() függvényt, hogy szükség esetén lekérje a tényleges eredményt.

Melyik Ray-könyvtár készült elosztott hiperparaméteres keresésre?

A Ray Tune számos hiperparaméter-próba futtatására specializálódott egy fürtön keresztül.

Which object type do Ray’s docs explicitly say can be read from same-node object-store memory without a copy?

Ray documents zero-copy reads for NumPy arrays stored in the object store when workers on the same node access them. Other values may require deserialization, and data requested across nodes must be transferred.