Ci bi mu melGis bi ci topp
OpenVINO for Intel Hardware Inference
Xarala
GUIDE teknik
Chips & aparey IA
Aparey IA dafay def ay jëf ci nimero yi ñuy jëfandikoo ngir tàggat ak doxal ay model.
Déglul tegtal biiIA-nettali · ~2 min
Ci xët wii2 simili jàng
Résumé
CPU yi, GPU yi, ak accelerator yiñ jagleel dañu am doole yu wuute ci wàllu ordinatër, mémoire, lëkkaloo ak ndimbalu losisel. Specification arithmétique bu mag ci boppam mënul wax luy am ci aplikaasioŋ bi.
Takeaway yu am solo
- Delloosi hardware bi ak liggéey bi.
- Saytu ndimbalu mémoire ak losisel.
- Tegtaleel màndarga yiñ natt ci aplikaasioŋ bi, du yenn leeral yu mag yi kese.
Plongeur bu xóot
Tàmbaleel ci liggéey bi. Taggat yaram, inference interactif bu gàtt, inference bu bari, ak liggéey ci aparey bi mën nañu stress ci yeneen jumtukaay. Matrix arithmétique mën na am solo, waaye diisaay yiy toxal ak done yu digg yi mën nañu ëpp doole wala diir bi war. Saytu kàttanu mémoire bi ak yaatuwaayu band bi ci wetu ordinatër bi. Modèle bi dafa wara méngoo ak tampon yiy liggéey, stade cache, ak laaj yuy boole. Liggéeyu aparey yu bari dafay yokk njëgu jokkoo bi ak jafe-jafe losisel bi, kon memory agrégée mënul niroo ci saasi ak benn pool bu yomb. Format numérique yi dañu am njeexital ci gaawaay bi ak ci wane gi. Lu gëna néew njub mën na wàññi dencukaay bi ba noppi may liggéey bi gëna gaaw ci hardware bu méngoo, waaye model yi ak liggéey yi dañu soxla jàngat ngir soppi njub. Jàppale hardware bi, kernel yi, ak kaadar bi ñuy jëfandikoo ngir wane ndax ñu ngi jëfandikoo kàttan giñ siiwal. Teg sistem yiy jëfandikoo ay sargu liggéey yuñ mëna defaraat ak dayo lote yiñ wax, guddaayi dugal yi, njub, ak xeetu losisel yi. Natt leen latency, produit yi, doole yi ak njëg yi ci liggéey bu am njariñ bu nekk. Demonstration jaaykat mën na joxe leeral ci amal lànket, waaye jënd wala dogal jëfandikoo dafa soxla firnde ci aplikaasioŋ biñ bëgga jëfandikoo.
04misaal biñ liggéey
Xaymal ab yamaleg dencukaay bu gëna suufe
Defar ab model bu am benn miliyaar ci ay paramet yuñ denc ci 16 bit ci bu nekk.
Poid yi kese ñooy jël lu tollu ci ñaari milyaari byte, wala 2 GB ci benn desimal. Loolu du ci bokk aktivaasioŋ yi, cache yi, tampon runtime yi ak njëgu kaadar bi.
Jëfandikool xayma bi ngir tàmbali, ba noppi nga natt mémoire bi ci configuration bi nga bëgga joxe.
Li muy wane
Li ñuy woowe arithmétique dafay xayma diisaayu dencukaay bi, du li ñuy laaj ci hardware bi yépp wala li ñuy laaj ci performance.
Doxal ci àdduna dëgg
Natt mémoire bi gëna mag booy def ay laajte yu dëggu yuy boole.
Teg benn model ak njubte ci hardware kandidaa ak jekkal sargu liggéey bu nuróo.
Teg ko ci jëf
Lu tax mu am solo
- Njëgg ak budget. Dogal yi architecture di jël dañuy indi njariñ ak njëgu liggéey bi ay at ci ginaaw.
- dogal yu gëna leer. Njàngalem xarala yi dafay jàppale ekip yi ñu tànn li gën, te baña yam ci li gëna bees daal.
- Xool kalite. Tanneef yu gëna baax ci wàllu ingeñër dina wàññi jafe-jafe yi ci wàllu wóor ci liggéey bi.
Moytul
- Optimize benn benchmark mën na nëbb ñakk kattan yu gëna yaatu ci sistem bi.
- Njëg li ñuy fay ci infrastructure yi ak ci toppatoo dañuy faral di suufeel.
- Bu sistem yi di gëna xawa jafee xam, jafe-jafe yi am ci wàllu kaaraange ak seetlu mën nañu gëna bari.
Jéego yi ci topp
- Mandargal latency, kalite, ak njëg yi laata ngay jëfandikoo.
- Benchmark ci biir sargal ak done yu dëggu.
- Jumtukaay bi di saytu njuumte yi, derive bi ak njeextalu jëfandikukat bi.
- Waajal rollback ak yooni tontu ci jafe-jafe yi laata ngay eskale.
Sources ak leneen luñu ci mëna jàng
Weyal di banneexu
Bulletin bu amul fayda
Jàngal xibaar AI bu bes
Ñatti jaar-jaari IA yuñ firndeel bis bu nekk ci ayu-bis bi, ñu bind leen ci Àngle bu leer. Gratis ba fàww, amul yëgle.
Benn email bis bu nekk ci ayu-bis bi. Benn klik nga dindi abonemaa bi. Dunu musa jaay wala séddoo sa adres.
Nattal sa bopp
Take the AI Chips & Hardware quiz
Feedback ci saasi ci bépp tontu, ak sertifikaa buñ mëna séddoo ak ID buñ mëna saytu soo jàllee ci njàng mi.
Jàppale njàngum IA te doo fay. AI Understanding mbootaay la buy def te Yàlla tax — amul yëgle, amul paywall, musul am. Defal ab sarax
Laaj yi ñuy faral di laaj
Ndax liggéey yu bari yuñ siiwal ci IA ci segond bu nekk dañuy garanti tontu yu gëna gaaw?
Déedet. Memoire, formaa numérique yiñ jàppale, losisel, batching, ak yeneen yooni sàq mën nañu tënk diiru tontu dëgg.
Weyal di jàng
Gid yu jëm ci loolu
Tann nañu yeneen njiit ngir topic bii