LegközelebbKövetkező útmutató
GPU vs TPU AI-hoz
Műszaki
Műszaki ÚTMUTATÓ
Az NVLink és a kapcsolódó összekapcsolások azok a nagy sebességű kapcsolatok, amelyek segítségével sok GPU közvetlenül és gyorsan kommunikálhat egymással.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
They are essential because training and serving the largest AI models requires hundreds or thousands of GPUs to act like one giant accelerator.
Egyetlen GPU nem képes befogadni a legnagyobb modelleket, ezért azok sok chipre vannak felosztva, amelyeknek folyamatosan adatokat kell cserélniük, például súlyokat, gradienseket és aktiválásokat. A szabványos PCIe busz ehhez túl lassú, ezért az NVIDIA létrehozta az NVLink-et, egy közvetlen GPU-GPU kapcsolatot, amely sokkal nagyobb sávszélességet és alacsonyabb késleltetést kínál. Az NVSwitch chipek ezt egy szövetté terjesztik ki, így a szerver minden GPU-ja teljes sebességgel elérheti a többit, így nyolc GPU-t egyetlen nagy memória- és számítási készletté alakítanak. Rack méretben az olyan rendszerek, mint az NVIDIA NVL72, több tucat GPU-t kapcsolnak össze egy egységes NVLink tartományon keresztül. Az egyetlen állványon túl a hálózati technológiák, mint például az InfiniBand és az Ethernet (gyakran RDMA-val) csomópontok ezreit kötik össze egy fürtben. Ezeknek az összeköttetéseknek a minősége közvetlenül korlátozza, hogy mekkora és milyen gyorsan edzhetnek a modellek.
Nyolc GPU csatlakoztatása egyetlen szerveren belül (például az NVIDIA DGX rendszerekhez) NVSwitch-en keresztül, így megoszthatják a memóriát, és együtt taníthatnak egy nagy modellt.
Teljesen csökkentett gradiens szinkronizálás végrehajtása a GPU-k között az elosztott betanítás során, az NVLink sávszélességgel felgyorsítva.
Több tucat GPU összekapcsolása egy rack méretű NVL72 rendszerben egyetlen egységes NVLink tartományba billió paraméteres modellek számára.
Több ezer GPU-szerver fürtbe kapcsolása InfiniBand vagy RDMA-over-Ethernet használatával a nagyszabású alapmodell-képzéshez.
Ahogy a modellek túlnőnek az egyes szervereken, az összekapcsolás rendszerré válik. Az NVLink generációnként folyamatosan növeli a sávszélességet, és a rack-méretű NVLink tartományok (például az NVL72) növelik az egyként viselkedő GPU-k számát. Nagyobb egységesített tartományokra, a számítási és hálózatépítés szorosabb összekapcsolására, az optikai kapcsolatokra a távolságon keresztüli teljesítmény csökkentésére, valamint az ipari erőfeszítésekre a nyílt összekapcsolási szabványok (például az UALink) felé a rivális szabadalmaztatott szövetekkel szemben. A mesterséges intelligencia skálázása egyre inkább függ a chipek közötti adatmozgatástól, mint maguktól a chipektől.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
Az NVLink és a kapcsolódó összekapcsolások azok a nagy sebességű kapcsolatok, amelyek segítségével sok GPU közvetlenül és gyorsan kommunikálhat egymással. Elengedhetetlenek, mert a legnagyobb AI-modellek betanításához és kiszolgálásához több száz vagy több ezer GPU-ra van szükség ahhoz, hogy egyetlen óriási gyorsítóként működjenek.
A nagy modellek meghaladják egyetlen GPU kapacitását, így számos chip között vannak elosztva, amelyek folyamatosan megosztják a súlyokat, a gradienseket és az aktiválásokat, ami gyors linkeket igényel.
Az NVLink egy közvetlen GPU-GPU kapcsolat, sokkal nagyobb sávszélességgel és alacsonyabb késleltetéssel, mint a PCIe, így gyors adatcserét tesz lehetővé a chipek között.
Az NVSwitch kiterjeszti az NVLink-et egy nem blokkoló szövetté, lehetővé téve, hogy a csomópontban lévő összes GPU teljes sebességgel kommunikáljon egymással.
Csökkenti az összegeket és osztja meg a gradienseket az összes GPU között minden edzési lépésben, így a sebesség nagymértékben függ az összekapcsolási sávszélességtől.
Fürtléptékben a hálózatok, például az InfiniBand vagy az Ethernet RDMA-val sok csomópontot kötnek össze, kiegészítve az NVLink-et az egyes kiszolgálókon belül.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
GPU vs TPU AI-hoz
Műszaki