DalšíDalší průvodce
Pokračování předtrénování vs jemné ladění
Technický
Technický PRŮVODCE
GPU a TPU jsou dvě hlavní rodiny čipů používaných k trénování a provozu moderních modelů umělé inteligence.
Poslechněte si tento návodAI-vyprávěný · ~8 min
GPU v čele s NVIDIA jsou programovatelné paralelní procesory s velmi rozsáhlým softwarovým ekosystémem, zatímco TPU jsou vlastní čipy Google postavené na velkých jednotkách s násobením matic a pronajímané prostřednictvím Google Cloud. Lepší volba závisí na modelu, softwarovém balíčku a rozsahu úlohy.
A graphics processing unit (GPU) is a chip with many small arithmetic cores that was first built to draw pixels in parallel and was later opened up for general computing. A tensor processing unit (TPU) is an application-specific integrated circuit (ASIC), meaning a chip designed for one class of work, that Google built to accelerate neural networks. Both speed up the same central operation of deep learning, multiplying large grids of numbers called matrices, but they make different trade-offs. GPUs keep broad programmability and are sold to anyone; TPUs trade some flexibility for dense matrix throughput and energy efficiency, and outside Google they are rented through Google Cloud rather than bought.
A modern NVIDIA data-center GPU is a collection of streaming multiprocessors (SMs), each of which runs many threads at once. NVIDIA's Hopper architecture write-up says the H100 SXM5 has 132 SMs with four Tensor Cores each, 528 in total. A Tensor Core is a block that performs a small matrix multiply-accumulate in one step at reduced precision. Hopper adds a Transformer Engine that chooses, layer by layer, between 8-bit floating point (FP8) and 16-bit math. The chip has 80 billion transistors on TSMC's 4N process. Programmers reach all of this through NVIDIA's CUDA programming model, and frameworks such as PyTorch call CUDA libraries for them, which is why most published research code runs on GPUs with no changes.
A TPU puts most of its silicon into matrix units (MXUs) arranged as a systolic array, a grid of multiply-accumulate cells that pass numbers to their neighbors on every clock tick so data flows through the grid instead of going back to memory after each step. Google Cloud's architecture page says MXUs are 128 by 128 cells on TPU v5p and earlier, about 16,000 multiply-accumulates per cycle, and 256 by 256 on TPU v6e and the seventh generation. Each TensorCore on the chip also has a vector unit for operations such as activations and softmax and a scalar unit for control flow. Programs do not target the chip directly: the XLA compiler turns the linear-algebra parts of a JAX, TensorFlow or PyTorch graph into TPU machine code, and the rest runs on the host computer. Chips are wired into slices and pods by a dedicated inter-chip interconnect (ICI).
The history explains the split. The first TPU paper, presented at ISCA 2017, describes an inference-only chip in service since 2015 with a 65,536-cell 8-bit matrix unit, 92 trillion operations per second at peak and 28 MiB of on-chip memory. Its authors report that it ran about 15 to 30 times faster than a contemporary NVIDIA K80 GPU or Intel Haswell CPU on Google's production workloads, with 30 to 80 times better performance per watt. Later generations added training. Google's bfloat16 article explains that TPU v2 and v3 multiply in bfloat16, a 16-bit format with the same 8-bit exponent as 32-bit floats, and accumulate in 32-bit precision. The 2023 TPU v4 paper describes a 4,096-chip supercomputer linked by optical circuit switches and reports it 1.2 to 1.7 times faster than an NVIDIA A100 system of similar size while using 1.3 to 1.9 times less power. In April 2025 Google announced Ironwood, quoting 4,614 peak FP8 teraflops and 7.37 TB/s of memory bandwidth per chip and 42.5 exaflops for a 9,216-chip pod.
Comparing headline numbers needs care. NVIDIA lists the H100 SXM at 3,958 FP8 teraflops and 1,979 BF16 teraflops, but those figures assume structured sparsity, a pattern in which half the weights are zero; the Hopper write-up confirms sparsity doubles the dense rate, so dense FP8 is about half the listed figure. Google's pod figures are theoretical peaks, and vendor benchmarks are chosen by the vendor. The TPU v4 versus A100 comparison, for example, comes from Google's own paper. Real speed depends on how well a model keeps the matrix units busy, how much data moves between chips and how mature the compiler is for that model. Independent tests on the actual workload are the only reliable guide.
Google's own guidance is a useful decision rule. Its introduction to Cloud TPU recommends TPUs for models dominated by matrix math, models without custom operations inside the training loop, models that train for weeks or months, large models with large batch sizes, and models with very large embeddings such as ranking and recommendation. It recommends GPUs for models with many custom PyTorch or JAX operations, models that use operations TPUs do not support, and medium to large models. It recommends CPUs for quick prototypes, small models and jobs limited by input or network speed. It also lists what TPUs handle poorly: code with frequent branching, many element-wise operations, high-precision arithmetic, and custom operations in the main loop.
Each option also has failure modes. On TPUs, shapes that do not tile neatly onto the 128 or 256 grid waste capacity, and the same Google page notes memory performs best with dimensions that are multiples of 8. Every program must pass through the XLA compiler, so debugging relies on compiler tools rather than the CUDA profilers most practitioners already know. On GPUs, peak throughput also depends on using Tensor Core-friendly precisions and shapes, and multi-GPU training relies on fast links such as NVLink, which tops out at 900 GB/s per H100. Lock-in cuts both ways: CUDA code does not run on TPUs, and TPU access is limited to Google's cloud and Google's own products.
In practice the requirements differ more than the arithmetic. A GPU can be bought, rented from many clouds or installed in a workstation, and an H100 SXM draws up to 700 W. A TPU is reached through Google Compute Engine, Google Kubernetes Engine or Google's managed AI platform, and large jobs are sized in slices of chips; Google says a full Ironwood pod draws nearly 10 megawatts. For a small team, the deciding questions are usually which framework the code already uses, whether it relies on custom kernels, and which provider offers the needed capacity at an acceptable price on the day.
04Zpracovaný příklad
Vyberte jednu vrstvu, například matici hmotnosti 4 096 x 4 096 aplikovanou na dávku 8 tokenů v bfloat16.
Počet operací: 2 x 8 x 4 096 x 4 096, asi 268 milionů operací s pohyblivou řádovou čárkou.
Počet přesunutých bajtů: samotné váhy jsou 4 096 x 4 096 x 2 bajty, asi 33,5 milionů bajtů, plus malé vstupy a výstupy.
Dělením získáte aritmetickou intenzitu: zhruba 8 operací na bajt.
Vypočítejte bod rovnováhy čipu: hustá propustnost BF16 dělená šířkou pásma paměti, asi 989 bilionů děleno 3,35 bilionu, neboli zhruba 295 operací na bajt pro H100 SXM.
Porovnejte: 8 je daleko pod 295, takže tato vrstva je vázaná na paměť a zvýšení dávky na několik stovek tokenů by ji posunulo směrem k výpočetnímu limitu.
Co ukazuje
Student skončí s jednoduchým odhadem střechy, který předpovídá, zda pomůže rychlejší aritmetika nebo větší šířka pásma paměti. Lze to zkontrolovat načasováním vrstvy při velikostech dávek 8, 64 a 512 a sledováním nárůstu propustnosti, dokud se nevyrovná blízko výpočetního limitu.
Google provozuje TPU ve svých vlastních datových centrech od roku 2015. Dokument ISCA z roku 2017 o čipu první generace uvádí, že sloužil produkčním neuronovým sítím představujícím asi 95 % tehdejší poptávky po datových centrech Google.
Týmy, které trénují v PyTorch s vlastním kódem CUDA, běžně používají GPU NVIDIA H100, jejichž verze SXM spáruje 80 GB paměti rychlostí 3,35 TB/s s 900 GB/s připojením NVLink mezi GPU.
Modely doporučení a hodnocení s obrovskými tabulkami pro vkládání jsou zdokumentované TPU fit. Papír TPU v4 uvádí, že jeho modely SparseCores zrychlují 5x až 7x rychlost vkládání, přičemž využívají asi 5 % plochy a výkonu matrice.
Google navrhl svou sedmou generaci TPU, Ironwood, ohlášenou v dubnu 2025, speciálně pro odvození z velkých jazykových a smíšených modelů s 192 GB vysokopásmové paměti na čip a moduly s až 9 216 čipy.
H100 lze rozdělit až na sedm izolovaných multi-instance GPU řezů po 10 GB, takže jedna karta může hostovat několik malých inferenčních služeb nebo studentských notebooků současně.
Mezera mezi těmito dvěma návrhy se zmenšila. GPU přidaly vyhrazený maticový hardware a formáty s nižší přesností a TPU přidaly větší paměti, jádra s řídkou zátěží a podporu pro PyTorch až XLA. Oznámení společnosti Ironwood Google z dubna 2025 zarámovalo nejnovější TPU jako první pro odvození, což odráží, jak obsluha velkých modelů, nejen jejich trénování, nyní řídí návrh čipů. Materiál Hopper NVIDIA je podobný jako u jeho Transformer Engine pro FP8. Otevřené problémy se většinou týkají systémů spíše než jednotlivých čipů. Velké úlohy rozmístěné mezi tisíci akcelerátory jsou omezeny šířkou pásma propojení, kapacitou paměti a dodávkou energie; dokument TPU v4 tvrdí, že přepínání optických obvodů udrželo síť pod 5 % systémových nákladů, zatímco celý modul Ironwood je uváděn na téměř 10 megawattů. Přenositelnost softwaru je další otevřená otázka. Kompilátory, jako je XLA, mají za cíl nechat jeden model běžet na mnoha backendech, ale vlastní jádra stále váží kód na dodavatele. Zveřejněná srovnání budou pravděpodobně nadále přicházet převážně od prodejců. Čtenáři by měli hledat spíše hustá než řídká čísla, odpovídající přesnost, stejnou velikost systému a kompletní end-to-end pracovní vytížení, než budou jakoukoli reklamaci zrychlení považovat za vyřízenou.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
GPU a TPU jsou dvě hlavní rodiny čipů používaných k trénování a provozu moderních modelů umělé inteligence. GPU v čele s NVIDIA jsou programovatelné paralelní procesory s velmi rozsáhlým softwarovým ekosystémem, zatímco TPU jsou vlastní čipy Google postavené na velkých jednotkách s násobením matic a pronajímané prostřednictvím Google Cloud. Lepší volba závisí na modelu, softwarovém balíčku a rozsahu úlohy.
Dokumentace Google Cloud popisuje podporu TPU prostřednictvím JAX, TensorFlow a PyTorch/XLA, takže pracovní postupy TPU nejsou omezeny na jeden rámec.
Tensor Processing Unit je vlastní čip (ASIC) navržený společností Google speciálně pro zátěže neuronové sítě.
TPU používají systolické pole, kde data protékají mřížkou vícenásobně akumulovaných buněk, předávají výsledky přímo mezi nimi a snižují provoz paměti.
Průvodce říká, že relativní výkon závisí na modelu, frameworku, generaci hardwaru, paměti, propojení, využití a prostředí nasazení.
CUDA a její knihovny podporují širokou škálu pracovních postupů GPU, ale nejlepší platforma závisí na softwaru, pracovní zátěži a měřeném výkonu systému.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Pokračování předtrénování vs jemné ladění
Technický