DalšíDalší průvodce
Monitorování modelů bez ground-truth štítků
Technický
Technický PRŮVODCE
Využití modelových FLOPs (MFU) porovnává odhadovanou užitečnou práci modelu v plovoucí řádové čárce za sekundu s teoretickou špičkovou propustností systému GPU pro příslušnou přesnost.
Poslechněte si tento návodAI-vyprávěný · ~3 min
Pomáhá posoudit efektivitu trénování, ale jeho hodnota závisí na účetnictví modelových FLOPs, definicích hardwarového maxima a na tom, jaká práce je zahrnuta.
MFU is a ratio intended to describe how much of a system's theoretical compute capability is being used for the model's useful work. A common conceptual formula is estimated model FLOPs executed per second divided by the hardware's theoretical peak FLOPs per second for the same arithmetic precision. For a language model, estimated work per token can be combined with observed token throughput to form the numerator. Both terms require clear definitions. The model-FLOP estimate depends on architecture. Dense layers, attention, sequence length, parameter sharing, mixture-of-experts routing, and training versus inference affect how much work a token requires. The denominator depends on GPU generation, precision mode, and whether the peak assumes specialized units. Using an incompatible peak or counting FLOPs differently can make comparisons misleading. MFU is not GPU utilization from a system monitor. A device may report busy while spending time on memory movement, communication, kernels with low arithmetic intensity, or work not counted in the model-FLOP estimate. Conversely, a high MFU says nothing by itself about model quality, energy efficiency, or whether the training run is cost-effective. Pair it with throughput, latency, memory use, scaling efficiency, power, and evaluation metrics. Published large-scale training reports give context but not a universal goal. Some Megatron-LM results report roughly 30 percent of peak in one setup, while other large-scale reports describe per-GPU or MFU values in the low-to-mid 50 percent range under different models and systems. These figures use particular hardware, parallelism, and accounting choices. They are examples, not an expected range for every model. Use consistent conventions when comparing configurations. Record precision, theoretical peak source, model-FLOP formula, tokens processed, warmup, communication inclusion, and whether results are averaged across devices. Investigate low MFU with profiling rather than assuming the GPU needs replacement.
Tým zabývající se jazykovými modely odhadne počet FLOPs na token, vynásobí jej zpracovanými tokeny za sekundu a porovná výsledek s maximem podporovaným akcelerátorem.
Inženýr sleduje MFU při změně velikosti dávky a zároveň zaznamenává tokeny za sekundu, čas kroku a chování validace.
Zpráva o škálování porovnává běhy s jedním GPU a více GPU za použití stejné konvence modelových FLOPs a špičkové přesnosti.
Recenzent považuje publikované údaje o MFU za příklady specifické pro danou pracovní zátěž, nikoli za univerzální cíle pro jiný model nebo cluster.
S tím, jak se formáty akcelerátorů a architektury modelů diverzifikují, bude vykazování MFU vyžadovat explicitnější konvence pro řídkou práci (sparse work), pozornost a specializovanou přesnost. Srovnávací studie mohou zlepšit srovnatelnost zveřejněním předpokladů modelových FLOPs spolu s propustností. MFU zůstane jednou z několika diagnostik. Týmy by se měly zaměřit na dosaženou užitečnou práci, náklady, spotřebu energie a výsledky modelu namísto optimalizace poměru bez kontextu. Budoucí zprávy mohou zlepšit srovnatelnost zveřejněním předpokladů modelových FLOPs a hardwarových maxim. Týmy by měly vedle MFU uchovávat měření propustnosti a energie, jak se systémy vyvíjejí.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Využití modelových FLOPs (MFU) porovnává odhadovanou užitečnou práci modelu v plovoucí řádové čárce za sekundu s teoretickou špičkovou propustností systému GPU pro příslušnou přesnost. Pomáhá posoudit efektivitu trénování, ale jeho hodnota závisí na účetnictví modelových FLOPs, definicích hardwarového maxima a na tom, jaká práce je zahrnuta.
MFU je poměr odhadované rychlosti výpočtů modelu k maximálním výpočtům pro příslušnou přesnost.
Špičková propustnost se liší podle aritmetického formátu, takže přesnost musí být konzistentní.
Účetní a hardwarové předpoklady ovlivňují obě části poměru.
Tento součin odhaduje práci modelu za sekundu, která je následně normalizována špičkovou propustností.
Počítadla systémové aktivity a využití modelových FLOPs měří jiné věci.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Monitorování modelů bez ground-truth štítků
Technický