LegközelebbKövetkező útmutató
AI fogászati röntgen üregészlelés
Vizuális AI
Műszaki ÚTMUTATÓ
A Ray egy nyílt forráskódú keretrendszer, amely megkönnyíti a Python és az AI-munkaterhelések méretezését laptopról több ezer gépből álló fürtre.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Ez azért fontos, mert egyszerű, egységes módot ad a betanítás, a hangolás, az adatfeldolgozás és a kiszolgálás elosztására anélkül, hogy mindegyikhez át kellene írnia a kódot.
A Ray alapötlete az, hogy a szokásos Python-függvényeket és osztályokat minimális változtatással elosztott egységekké alakítsa. A távoli „feladatként” megjelölt függvény aszinkron módon fut a fürt bármely dolgozóján; a távoli „színészként” megjelölt osztály egy dolgozón élő állapotfüggő szolgáltatássá válik. A Ray könnyű határidős ügyleteket (objektumhivatkozásokat) ad vissza, és kezeli az ütemezést, az adatmozgatást egy megosztott objektumtárolón keresztül, valamint a hibatűrést. Ezen az alapon felül találhatók a célra épített könyvtárak: Ray Train az elosztott modellképzéshez, Ray Tune a hiperparaméteres kereséshez, Ray Data az adatfolyamok streameléséhez, RLlib a megerősítő tanuláshoz és Ray Serve a méretezhető modellszolgáltatáshoz. Ez lehetővé teszi, hogy egy fürt a teljes ML-munkafolyamatot a végétől a végéig kezelje.
A Ray Tune futtatásával több száz hiperparaméter-kombinációban kereshet párhuzamosan egy GPU-fürtben, hogy megtalálja a legjobb modellkonfigurációt
A Ray Train használata a mély tanulási modell betanításának elosztására számos GPU-n és csomóponton, minimális kódmódosítással
Kötegelt következtetési folyamat építése Ray Data segítségével rekordok millióinak eléréséhez egy modellen keresztül egy klaszteren keresztül
Több modell telepítése egyetlen automatikus skálázási végpont mögé a Ray Serve segítségével a változó éles forgalom kezelésére
A Ray a nagyméretű mesterséges intelligencia gerincévé vált, különösen a nagy nyelvi modellek képzésében és kiszolgálásában. Növekedés várható az LLM-specifikus kiszolgálás terén (Ray Serve vLLM-mel), heterogén GPU-ütemezés, szorosabb integráció a KubeRay-en keresztül az adattókkal és a Kubernetes-szel, valamint jobb automatikus skálázás a tüskés generatív munkaterhelésekhez. Ahogy a modellek növekszenek, Ray szerepe a több csomópontos képzésben, az RLHF-folyamatok és a kötegelt következtetések lebonyolításában valószínűleg bővülni fog több ezer gyorsítón keresztül.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A Ray egy nyílt forráskódú keretrendszer, amely megkönnyíti a Python és az AI-munkaterhelések méretezését laptopról több ezer gépből álló fürtre. Ez azért fontos, mert egyszerű, egységes módot ad a betanítás, a hangolás, az adatfeldolgozás és a kiszolgálás elosztására anélkül, hogy mindegyik kódját át kellene írni.
A Ray egységes, egyszerű módszert biztosít a számítások sok gépen való elosztására anélkül, hogy átírná a kódot az egyes terheléstípusokhoz.
A feladatok állapot nélküli, párhuzamosan futó távoli függvények, míg a szereplők hosszú életű objektumok, amelyek állapotot tartanak, mint egy betöltött modell.
Ray azonnal visszaad egy könnyű jövőt, így a munka aszinkron módon zajlik; meghívja a ray.get() függvényt, hogy szükség esetén lekérje a tényleges eredményt.
A Ray Tune számos hiperparaméter-próba futtatására specializálódott egy fürtön keresztül.
Ray documents zero-copy reads for NumPy arrays stored in the object store when workers on the same node access them. Other values may require deserialization, and data requested across nodes must be transferred.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
AI fogászati röntgen üregészlelés
Vizuális AI