LegközelebbKövetkező útmutató
Core ML a Apple eszközön történő telepítéséhez
Műszaki
Műszaki ÚTMUTATÓ
A Tensor Cores speciális hardveregységek a modern NVIDIA GPU-kban, amelyek rendkívül gyorsan hajtanak végre mátrixszorzási és -felhalmozási műveleteket.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
They are the main reason a single GPU can train and run large neural networks orders of magnitude faster than general-purpose compute would allow.
A Volta architektúrával 2017-ben bevezetett Tensor Cores dedikált áramkörök, amelyek egy kis mátrixszorzást és egy összeadást (D = A x B + C) számítanak ki egyetlen műveletben, ahelyett, hogy egyesével szoroznák a szabványos CUDA magokon. Mivel a neurális hálózat gyakorlatilag minden rétege mátrixszorzásokká redukálódik, ez megfelel a ténylegesen szükséges matematikai AI-nak. Minden GPU-generáció kibővítette, amit kezel: a Volta 4x4 FP16 csempéket készített, míg a későbbi Ampere, Hopper és Blackwell architektúrák kisebb pontosságú formátumokat adtak hozzá, mint például a TF32, BF16, INT8, FP8 és FP4. A kisebb pontosság azt jelenti, hogy több számot dolgoznak fel óránként, ami drámai módon növeli a tanulási és következtetési teljesítményt, miközben a pontosság elfogadható marad.
Nagy nyelvi modellek, például GPT-stílusú transzformátorok betanítása, ahol lépésenként több milliárd mátrixszorzás fut a BF16 vagy FP8 tenzormagokon.
Valós idejű következtetések futtatása chatbotokhoz és képgenerátorokhoz, INT8 vagy FP8 kvantálás használatával több felhasználó kiszolgálására GPU-nként.
Az NVIDIA DLSS felgyorsítása a videojátékokban, ahol egy neurális hálózat felskálázza az alacsonyabb felbontású képkockákat, minden egyes képkockán tenzormagot használva.
A tudományos számítástechnika felgyorsítása, például a fehérjehajtogatás (AlphaFold) és az időjárási modellek, amelyeket mátrix-nehéz neurális terhelésként fogalmaztak meg.
A Tensor magok folyamatosan haladnak az egyre alacsonyabb pontosság felé: a Hopper hozzáadta az FP8-at, a Blackwell pedig bevezette a 4 bites FP4-et hardveresen felügyelt skálázással, amely nagyjából megduplázza az egyes lépések átviteli sebességét a nehéz következtetések miatti munkaterheléshez. A ritkaság (nulla súlyok átugrása) szorosabb támogatására számíthat, az olyan mikroskálázási formátumokra, amelyek a skálafaktorokat kis számtömbökhöz kapcsolják, valamint a memóriarendszerekkel való mélyebb integrációt, hogy a magok táplálva maradjanak. A modellek növekedésével a mátrixmotor, nem pedig a nyers órajel, továbbra is a mesterséges intelligencia hardverteljesítményének központi harctere.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A Tensor Cores speciális hardveregységek a modern NVIDIA GPU-kban, amelyek rendkívül gyorsan hajtanak végre mátrixszorzási és -felhalmozási műveleteket. Ezek a fő oka annak, hogy egyetlen GPU nagyságrendekkel gyorsabban képes nagy neurális hálózatokat betanítani és futtatni, mint az általános célú számítások lehetővé tennék.
A tenzormagok egy lépésben hajtanak végre egy összeolvasztott mátrixszorzást és akkumulációt, ami pontosan az a művelet, amely a neurális hálózati rétegeket uralja.
A Tensor Cores 2017-ben debütált a Volta architektúrával, az FP16 4x4 mátrixműveletekkel kezdve.
Ha számonként kevesebb bitet használ, akkor minden ciklusban több érték áramlik át a hardveren, ami nagymértékben növeli a sebességet csekély, általában elviselhető pontosságveszteséggel.
A bemenetek pontossága alacsony lehet, de az akkumulátor általában nagyobb pontossággal működik, mint például az FP32, hogy korlátozza a kerekítési hibák felhalmozódását.
Az alapul szolgáló könyvtárak a nagy mátrixműveleteket automatikusan Tensor Core méretű csempékre bontják, így a keretrendszerek kézi kódolás nélkül is felgyorsulnak.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Core ML a Apple eszközön történő telepítéséhez
Műszaki