DalšíDalší průvodce
Core ML for On-Device Apple Deployment
Technický
Technický PRŮVODCE
Tensor Cores jsou specializované hardwarové jednotky uvnitř moderních GPU NVIDIA, které provádějí operace násobení a akumulace matrice extrémně rychle.
Poslechněte si tento návodAI-vyprávěný · ~2 min
They are the main reason a single GPU can train and run large neural networks orders of magnitude faster than general-purpose compute would allow.
Tensor Cores, která byla představena s architekturou Volta v roce 2017, jsou vyhrazené obvody, které počítají malé násobení matice plus sčítání (D = A x B + C) v jediné operaci, místo aby prováděly každé násobení po jednom na standardních jádrech CUDA. Protože prakticky každá vrstva neuronové sítě se redukuje na maticové násobení, odpovídá to matematické umělé inteligenci, kterou skutečně potřebuje. Každá generace GPU rozšiřovala to, co zvládala: Volta vytvořila dlaždice 4x4 FP16, zatímco pozdější architektury Ampere, Hopper a Blackwell přidaly formáty s nižší přesností, jako jsou TF32, BF16, INT8, FP8 a FP4. Nižší přesnost znamená více čísel zpracovaných za hodinu, což dramaticky zvyšuje propustnost pro školení a vyvozování při zachování přijatelné přesnosti.
Školení velkých jazykových modelů, jako jsou transformátory ve stylu GPT, kde na Tensor Cores v BF16 nebo FP8 běží miliardy násobení matic na krok.
Spuštění inference v reálném čase pro chatboty a generátory obrázků pomocí kvantizace INT8 nebo FP8 pro obsluhu více uživatelů na GPU.
Akcelerace NVIDIA DLSS ve videohrách, kde neuronová síť upscaluje snímky s nižším rozlišením pomocí Tensor Cores každý snímek.
Urychlení vědeckých výpočtů, jako je skládání proteinů (AlphaFold) a modely počasí, které byly přeformulovány jako neurální zátěže náročné na matrici.
Tensor Cores se neustále posouvají ke stále nižší přesnosti: Hopper přidal FP8 a Blackwell představil 4bitový FP4 s hardwarově řízeným škálováním, což zhruba zdvojnásobuje propustnost každého kroku pro zátěže náročné na odvození. Očekávejte přísnější podporu pro řídkost (vynechání nulových vah), formáty mikroškálování, které připojují faktory měřítka k malým blokům čísel, a hlubší integraci s paměťovými systémy, aby jádra zůstala napájena. Jak modely rostou, hlavním bitevním polem pro výkon hardwaru umělé inteligence zůstává matrix engine, nikoli hrubá rychlost hodin.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Tensor Cores jsou specializované hardwarové jednotky uvnitř moderních GPU NVIDIA, které provádějí operace násobení a akumulace matrice extrémně rychle. Jsou hlavním důvodem, proč může jediný GPU trénovat a provozovat velké neuronové sítě řádově rychleji, než by umožňovaly obecné výpočty.
Tensor Cores provádějí násobení fúzované matrice plus akumulaci v jednom kroku, což je přesně operace, která dominuje vrstvám neuronové sítě.
Tensor Cores debutoval s architekturou Volta v roce 2017, počínaje operacemi s maticí FP16 4x4.
Použití menšího počtu bitů na číslo znamená, že v každém cyklu protéká hardwarem více hodnot, což výrazně zvyšuje rychlost s pouze malou, obvykle tolerovatelnou ztrátou přesnosti.
Vstupy mohou mít nízkou přesnost, ale akumulátor obvykle běží s vyšší přesností jako FP32, aby se omezilo hromadění chyb zaokrouhlování.
Podkladové knihovny automaticky rozdělují velké maticové operace na dlaždice velikosti Tensor-Core, takže frameworky se zrychlí bez ručního kódování.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Core ML for On-Device Apple Deployment
Technický