LegközelebbKövetkező útmutató
torch.compile és PyTorch 2 gráfkompiláció
Műszaki
Műszaki ÚTMUTATÓ
A LiteRT a jelenlegi név, amelyet a Google AI Edge dokumentációban használnak a korábban TensorFlow Lite néven ismert, az eszközön lévő futási környezethez.
Hallgassa meg ezt az útmutatótAI-narrált · ~3 min
Támogatja a modellkonverziót és a mobilkövetkeztetést hardveres gyorsítási lehetőségekkel, de ellenőrizni kell az operátorokat, a delegáltakat, a modellformátumokat és az eszközök képességeit a célplatformhoz és a futásidejű verzióhoz.
A TensorFlow Lite a jelenlegi Google AI Edge dokumentációban LiteRT nevet kapott, míg a meglévő alkalmazások és modelltermékek továbbra is használhatják a TensorFlow Lite terminológiát. Az elnevezési átmenet nem jelenti azt, hogy minden alkalmazásnak azonnal át kell írnia a kódját; kövesse a használt futási környezetre és API-ra vonatkozó migrációs útmutatót. A régebbi oktatóanyagok az Interpreter API-kra hivatkozhatnak, míg a jelenlegi dokumentumok újabb lefordított modell elérési utakat is leírnak. A mobil munkafolyamat egy betanított modellel és egy konverziós lépéssel kezdődik, amely egy támogatott eszközön történő megjelenítést hoz létre. Az átalakítás magában foglalhat optimalizálást vagy kvantálást. Az eredményt ellenőrizni kell a kompatibilis operátorok, bemeneti alakzatok, tenzortípusok és metaadatok tekintetében. Ha a konverzió nem támogatott műveleteket jelent, akkor előfordulhat, hogy a modellnek exportálási módosításokra, egyéni műveletekre vagy más futási útvonalra van szüksége. A következtetés időpontjában a LiteRT futhat CPU-n, és delegátusokat használhat a támogatott GPU- vagy NPU-hardverekhez. A delegált felgyorsítja az általa támogatott műveleteket; a nem támogatott részek a konfigurációtól függően visszaeshetnek egy másik eszközre, vagy meghibásodhatnak. Az elérhetőség eszközmodellenként, lapkakészlet-szállítónként, futásidejű csomagolásonként és operációs rendszer verziónként eltérő. Ne feltételezze, hogy NPU delegált van jelen pusztán azért, mert a telefon NPU-t tartalmaz. A kvantálás csökkenti a numerikus pontosságot, és csökkentheti a modell méretét vagy javíthatja a sebességet, de megváltoztathatja a pontosságot. A kalibrációs adatoknak a támogatott edzés utáni kvantálási módszerek tervezett bemeneti eloszlását kell képviselniük. Az átalakítás után tesztelje az erőforrás-használati és a feladatmutatókat is. A kép színsorrendjének, a normalizálásnak, a tokenizátor-beállításoknak és a kimeneti dekódolásnak meg kell egyeznie a képzéssel. Az eszközön történő üzembe helyezés az alkalmazások életciklusára, a memória nyomására, az akkumulátorhasználatra, a telepítés méretére, az adatvédelemre és a verziótámogatásra is vonatkozik. Összehasonlítás a fizikai céleszközökön, beleértve az indítást és a tartós futásokat. A modellverzió és a konverziós konfiguráció megtartása az alkalmazás kiadásával. A LiteRT egy futtatókörnyezet, nem garantálja, hogy egy modell pontos vagy kompatibilis lesz minden telefonnal.
Egy Android-fejlesztő átalakít egy képosztályozót, és összehasonlítja a CPU-következtetést egy elérhető GPU- vagy NPU-megbízottal.
Egy csapat kvantifikál egy modellt a memória csökkentése érdekében, és a megjelenés előtt teszteli a pontosságot a reprezentatív telefonképeken.
A mobilalkalmazások kiválasztják a kiválasztott API-hoz dokumentált LiteRT futási környezetet, és elkerülik a régebbi TensorFlow Lite verziókból származó példák keverését.
Egy mérnök több céleszközön méri a hideg terhelést, a meleg várakozási időt, a memóriát és az energiát, ahelyett, hogy csak az asztali referenciaértékekre hagyatkozna.
A Google AI Edge eszközök továbbfejlesztik a modellátalakítást, a mobil API-kat és a hardver delegálását. A meglévő TensorFlow Lite alkalmazások továbbra is működhetnek, amíg az új dokumentáció és csomagolás LiteRT neveket használ. A csapatoknak követniük kell a migrációs útmutatást, és tesztelniük kell a futásidejű frissítéseket a támogatott eszközmátrixukon. A hardveres gyorsítás eszközfüggő marad, így a hordozhatóság mért visszaeséseket és egyértelmű minimumkövetelményeket igényel. A futásidejű nevek és API-k a mobil hardver fejlődésével folyamatosan változnak. Tartsa elkülönítve az áttelepítési munkát a modellminőség-ellenőrzésektől, és tartsa fenn a referenciaértékeket a reprezentatív eszközosztályok között. A küldöttek támogatását a frissítések kiszállítása előtt újra ellenőrizni kell.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A LiteRT a jelenlegi név, amelyet a Google AI Edge dokumentációban használnak a korábban TensorFlow Lite néven ismert, az eszközön lévő futási környezethez. Támogatja a modellkonverziót és a mobilkövetkeztetést hardveres gyorsítási lehetőségekkel, de ellenőrizni kell az operátorokat, a delegáltakat, a modellformátumokat és az eszközök képességeit a célplatformhoz és a futásidejű verzióhoz.
A Google jelenlegi AI Edge dokumentációja a LiteRT-t használja a korábban TensorFlow Lite néven ismert eszközön lévő keretrendszerhez.
A küldöttek felgyorsíthatják a támogatott műveleteket a rendelkezésre álló hardveren.
A modellműveleteket támogatnia kell a konverternek és a választott futási útvonalnak.
A csökkentett pontosság hatással lehet az előrejelzésekre, ezért érvényesíteni kell.
A hardvergyártó, a futásidejű verzió és a működési támogatás határozza meg, hogy a delegálás működik-e.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
torch.compile és PyTorch 2 gráfkompiláció
Műszaki