DalšíDalší průvodce
OpenVINO pro Intel Hardware Inference
Technický
Technický PRŮVODCE
Hardware umělé inteligence provádí numerické operace používané k trénování a spouštění modelů.
Poslechněte si tento návodAI-vyprávěný · ~2 min
CPU, GPU a specializované akcelerátory mají různé silné stránky ve výpočtu, paměti, konektivitě a softwarové podpoře. Špičková aritmetická specifikace sama o sobě nepředpovídá výkon aplikace.
Začněte s pracovní zátěží. Školení, krátké interaktivní vyvozování, velkodávkové vyvozování a zpracování na zařízení mohou zatěžovat různé zdroje. Maticová aritmetika může být důležitá, ale pohybující se váhy a mezilehlá data mohou také dominovat potřebnému času nebo energii. Zkontrolujte kapacitu paměti a šířku pásma spolu s počítačem. Model musí vyhovovat fungujícím vyrovnávací paměti, stavu mezipaměti a souběžným požadavkům. Spouštění na více zařízeních zvyšuje náklady na komunikaci a složitost softwaru, takže agregovaná paměť není automaticky ekvivalentní jedné jednoduché oblasti. Číselné formáty ovlivňují rychlost i reprezentaci. Nižší přesnost může snížit úložiště a umožnit rychlejší operace na kompatibilním hardwaru, ale modely a úlohy vyžadují vyhodnocení změn přesnosti. Hardwarová podpora, jádra a prováděcí rámec určují, zda je inzerovaná funkce skutečně použita. Porovnejte systémy využívající reprodukovatelné pracovní zatížení s uvedenými velikostmi dávek, vstupními délkami, přesností a verzemi softwaru. Změřte latenci, propustnost, výkon a náklady na užitečný úkol. Demonstrace dodavatele může informovat o vyšetřování, ale rozhodnutí o nákupu nebo nasazení vyžaduje důkazy pro zamýšlenou aplikaci.
04Zpracovaný příklad
Sestavte model s jednou miliardou parametrů uložených po 16 bitech.
Samotné váhy zabírají zhruba dvě miliardy bajtů, neboli 2 GB v desetinných jednotkách. To nezahrnuje aktivace, mezipaměti, vyrovnávací paměti za běhu a režii rámce.
Použijte odhad jako výchozí bod a poté změřte skutečnou paměť pro zamýšlenou konfiguraci zobrazování.
Co ukazuje
Aritmetika poskytuje odhad hmotnosti úložiště, nikoli úplný hardwarový požadavek nebo nárok na výkon.
Měřte špičkovou paměť a zároveň obsluhujte realistické souběžné požadavky.
Porovnejte stejný model a přesnost na kandidátském hardwaru se stejným nastavením zátěže.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Ne. Paměť, podporované číselné formáty, software, dávkování a zbytek cesty požadavku mohou omezit skutečnou dobu odezvy.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
OpenVINO pro Intel Hardware Inference
Technický