Műszaki ÚTMUTATÓ

Vegyes precíziós képzés

Mixed precision uses lower-precision arithmetic for selected operations while retaining precision where needed.

Hallgassa meg ezt az útmutatótAI-narrált · ~2 min

Ezen az oldalon2 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. A vegyes precíziós képzés jövője
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

It can reduce memory use and improve throughput on supported hardware, but gains and numerical effects depend on the model, workload, hardware and training recipe.

Mély merülés

Traditional training stores weights and runs math in 32-bit floating point (FP32). Mixed precision uses lower-precision FP16 or bfloat16 for eligible operations while retaining FP32 where needed. Some FP16 recipes maintain a separate FP32 master copy to accumulate small weight updates; autocast workflows may instead keep model parameters in FP32 while casting selected operation inputs. Using 16-bit tensors can reduce memory used by eligible operations. Supported accelerators may execute some low-precision operations faster, but end-to-end throughput depends on hardware, workload and which operations autocast selects. FP16 has a narrower range, so tiny gradients can underflow. Loss scaling multiplies the loss before backpropagation and reverses that scale before the optimizer update; tools such as torch.amp.GradScaler can manage this process. Bfloat16 has a wider exponent range than FP16 and often does not need the same loss-scaling strategy, though model and hardware behavior still need testing.

Valós megvalósítás

A PyTorch torch.cuda.amp.autocastja egy képzési ciklust foglal magában, hogy nagyjából a felére csökkentse a memóriát és megduplázza az átviteli sebességet egyetlen GPU-n

Nagy nyelvi modellek, például GPT-stílusú transzformátorok betanítása a bfloat16-ban a TPU-kon a veszteségskálázó hangolás elkerülése érdekében

Nagyobb kötegméret illesztése fogyasztói RTX GPU-hoz a ResNet képképzés FP32-ről FP16-ra való átállításával

FP8 vegyes precizitás az NVIDIA H100 GPU-kon, hogy csökkentse a határmodellek előképzésének költségeit

A vegyes precíziós képzés jövője

A pontosság folyamatosan csökken. Az NVIDIA Hopper és Blackwell GPU-kon támogatott FP8-képzés a határmodellek szabványossá válik, és az FP4 és a mikroskálázási formátumok (MXFP) kutatása tovább halad. Várható, hogy a keretrendszerek automatikusan kiválasztják a rétegenkénti pontosságot, a hardver az egyre szűkebb formátumokat natív módon kezeli, a kvantálás-tudatos képzés pedig elmossák a határvonalat az alacsony pontosságú képzés és a következtetés között, csökkentve a trillió paraméteres modellek betanításának költségeit.

A gyakorlatba ültetés

Miért számít

  • Költség és költségvetés. Az építészeti döntések évekig növelik a teljesítményt és a működési költségeket.
  • Tisztább döntések. A technikai oktatás segít a csapatoknak a megfelelő verem kiválasztásában, nem csak a legújabb készletben.
  • Minőségellenőrzés. A jobb mérnöki döntések csökkentik a termelés megbízhatósági incidenseit.

Vigyázz

  • Egy benchmark optimalizálása elrejtheti a rendszer általános hiányosságait.
  • Az infrastrukturális és karbantartási költségeket gyakran alábecsülik.
  • A biztonsági és megfigyelhetőségi hiányosságok a rendszerek bonyolultabbá válásával nőhetnek.

Következő lépések

  1. Határozza meg a késleltetési, minőségi és költségcélokat a megvalósítás előtt.
  2. Benchmark reális terhelési és adatviszonyok mellett.
  3. Műszerfigyelés a hibák, az eltolódás és a felhasználói hatások szempontjából.
  4. A méretezés előtt készítse elő a visszagörgetési és az incidensre adott válaszútvonalakat.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the Mixed Precision Training quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mi az a vegyes precíziós edzés?

Mixed precision uses lower-precision arithmetic for selected operations while retaining precision where needed. It can reduce memory use and improve throughput on supported hardware, but gains and numerical effects depend on the model, workload, hardware and training recipe.

In an FP16 training recipe that keeps an FP32 master weight, why retain it?

Some FP16 recipes keep an FP32 master weight so small optimizer updates are not lost to low-precision rounding; not every mixed-precision recipe uses a separate copy.

Milyen problémát old meg a veszteségskálázás az FP16 képzésben?

Az FP16 korlátozott dinamikatartománnyal rendelkezik, így a kis színátmenetek nullára kerekedhetnek; megszorozzuk a veszteséget a backprop előtt, reprezentatívak maradnak.

Milyen előnye van a bfloat16-nak az FP16-hoz képest?

A Bfloat16 8 kitevő bitet tart, mint az FP32, így a dinamikatartománya nagy, a gradiens alulcsordulás pedig ritka.

For many supported Tensor Core matrix operations, how are partial sums commonly accumulated?

Many common Tensor Core operations accumulate in FP32 to reduce rounding error; this does not make the computation exact.

What is a common benefit of using 16-bit values for supported training operations?

Lower precision can reduce memory and speed supported operations, but total results depend on the model, hardware, and kernels used.