Műszaki ÚTMUTATÓ

TensorFlow Lite és LiteRT mobilra

A LiteRT a jelenlegi név, amelyet a Google AI Edge dokumentációban használnak a korábban TensorFlow Lite néven ismert, az eszközön lévő futási környezethez.

Hallgassa meg ezt az útmutatótAI-narrált · ~3 min

Ezen az oldalon3 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. A TensorFlow Lite és a LiteRT for Mobile jövője
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

Támogatja a modellkonverziót és a mobilkövetkeztetést hardveres gyorsítási lehetőségekkel, de ellenőrizni kell az operátorokat, a delegáltakat, a modellformátumokat és az eszközök képességeit a célplatformhoz és a futásidejű verzióhoz.

Mély merülés

A TensorFlow Lite a jelenlegi Google AI Edge dokumentációban LiteRT nevet kapott, míg a meglévő alkalmazások és modelltermékek továbbra is használhatják a TensorFlow Lite terminológiát. Az elnevezési átmenet nem jelenti azt, hogy minden alkalmazásnak azonnal át kell írnia a kódját; kövesse a használt futási környezetre és API-ra vonatkozó migrációs útmutatót. A régebbi oktatóanyagok az Interpreter API-kra hivatkozhatnak, míg a jelenlegi dokumentumok újabb lefordított modell elérési utakat is leírnak. A mobil munkafolyamat egy betanított modellel és egy konverziós lépéssel kezdődik, amely egy támogatott eszközön történő megjelenítést hoz létre. Az átalakítás magában foglalhat optimalizálást vagy kvantálást. Az eredményt ellenőrizni kell a kompatibilis operátorok, bemeneti alakzatok, tenzortípusok és metaadatok tekintetében. Ha a konverzió nem támogatott műveleteket jelent, akkor előfordulhat, hogy a modellnek exportálási módosításokra, egyéni műveletekre vagy más futási útvonalra van szüksége. A következtetés időpontjában a LiteRT futhat CPU-n, és delegátusokat használhat a támogatott GPU- vagy NPU-hardverekhez. A delegált felgyorsítja az általa támogatott műveleteket; a nem támogatott részek a konfigurációtól függően visszaeshetnek egy másik eszközre, vagy meghibásodhatnak. Az elérhetőség eszközmodellenként, lapkakészlet-szállítónként, futásidejű csomagolásonként és operációs rendszer verziónként eltérő. Ne feltételezze, hogy NPU delegált van jelen pusztán azért, mert a telefon NPU-t tartalmaz. A kvantálás csökkenti a numerikus pontosságot, és csökkentheti a modell méretét vagy javíthatja a sebességet, de megváltoztathatja a pontosságot. A kalibrációs adatoknak a támogatott edzés utáni kvantálási módszerek tervezett bemeneti eloszlását kell képviselniük. Az átalakítás után tesztelje az erőforrás-használati és a feladatmutatókat is. A kép színsorrendjének, a normalizálásnak, a tokenizátor-beállításoknak és a kimeneti dekódolásnak meg kell egyeznie a képzéssel. Az eszközön történő üzembe helyezés az alkalmazások életciklusára, a memória nyomására, az akkumulátorhasználatra, a telepítés méretére, az adatvédelemre és a verziótámogatásra is vonatkozik. Összehasonlítás a fizikai céleszközökön, beleértve az indítást és a tartós futásokat. A modellverzió és a konverziós konfiguráció megtartása az alkalmazás kiadásával. A LiteRT egy futtatókörnyezet, nem garantálja, hogy egy modell pontos vagy kompatibilis lesz minden telefonnal.

Valós megvalósítás

Egy Android-fejlesztő átalakít egy képosztályozót, és összehasonlítja a CPU-következtetést egy elérhető GPU- vagy NPU-megbízottal.

Egy csapat kvantifikál egy modellt a memória csökkentése érdekében, és a megjelenés előtt teszteli a pontosságot a reprezentatív telefonképeken.

A mobilalkalmazások kiválasztják a kiválasztott API-hoz dokumentált LiteRT futási környezetet, és elkerülik a régebbi TensorFlow Lite verziókból származó példák keverését.

Egy mérnök több céleszközön méri a hideg terhelést, a meleg várakozási időt, a memóriát és az energiát, ahelyett, hogy csak az asztali referenciaértékekre hagyatkozna.

A TensorFlow Lite és a LiteRT for Mobile jövője

A Google AI Edge eszközök továbbfejlesztik a modellátalakítást, a mobil API-kat és a hardver delegálását. A meglévő TensorFlow Lite alkalmazások továbbra is működhetnek, amíg az új dokumentáció és csomagolás LiteRT neveket használ. A csapatoknak követniük kell a migrációs útmutatást, és tesztelniük kell a futásidejű frissítéseket a támogatott eszközmátrixukon. A hardveres gyorsítás eszközfüggő marad, így a hordozhatóság mért visszaeséseket és egyértelmű minimumkövetelményeket igényel. A futásidejű nevek és API-k a mobil hardver fejlődésével folyamatosan változnak. Tartsa elkülönítve az áttelepítési munkát a modellminőség-ellenőrzésektől, és tartsa fenn a referenciaértékeket a reprezentatív eszközosztályok között. A küldöttek támogatását a frissítések kiszállítása előtt újra ellenőrizni kell.

A gyakorlatba ültetés

Miért számít

  • Költség és költségvetés. Az építészeti döntések évekig növelik a teljesítményt és a működési költségeket.
  • Tisztább döntések. A technikai oktatás segít a csapatoknak a megfelelő verem kiválasztásában, nem csak a legújabb készletben.
  • Minőségellenőrzés. A jobb mérnöki döntések csökkentik a termelés megbízhatósági incidenseit.

Vigyázz

  • Egy benchmark optimalizálása elrejtheti a rendszer általános hiányosságait.
  • Az infrastrukturális és karbantartási költségeket gyakran alábecsülik.
  • A biztonsági és megfigyelhetőségi hiányosságok a rendszerek bonyolultabbá válásával nőhetnek.

Következő lépések

  1. Határozza meg a késleltetési, minőségi és költségcélokat a megvalósítás előtt.
  2. Benchmark reális terhelési és adatviszonyok mellett.
  3. Műszerfigyelés a hibák, az eltolódás és a felhasználói hatások szempontjából.
  4. A méretezés előtt készítse elő a visszagörgetési és az incidensre adott válaszútvonalakat.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Töltse ki a TensorFlow Lite és LiteRT for Mobile kvízt

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mi az a TensorFlow Lite és LiteRT for Mobile?

A LiteRT a jelenlegi név, amelyet a Google AI Edge dokumentációban használnak a korábban TensorFlow Lite néven ismert, az eszközön lévő futási környezethez. Támogatja a modellkonverziót és a mobilkövetkeztetést hardveres gyorsítási lehetőségekkel, de ellenőrizni kell az operátorokat, a delegáltakat, a modellformátumokat és az eszközök képességeit a célplatformhoz és a futásidejű verzióhoz.

Mire utal a LiteRT a jelenlegi Google AI Edge dokumentációban?

A Google jelenlegi AI Edge dokumentációja a LiteRT-t használja a korábban TensorFlow Lite néven ismert eszközön lévő keretrendszerhez.

Mit csinál egy hardvermegbízott az eszközön lévő következtetési futásidőben?

A küldöttek felgyorsíthatják a támogatott műveleteket a rendelkezésre álló hardveren.

Miért ellenőrizze a kezelő kompatibilitását a modellátalakítás során?

A modellműveleteket támogatnia kell a konverternek és a választott futási útvonalnak.

Mit jelenthet a kvantálás kisebb modellekre vagy gyorsabb végrehajtásra?

A csökkentett pontosság hatással lehet az előrejelzésekre, ezért érvényesíteni kell.

Miért tesztelje az NPU delegált a tervezett telefonon?

A hardvergyártó, a futásidejű verzió és a működési támogatás határozza meg, hogy a delegálás működik-e.