आगेअगली गाइड
torch.compile and PyTorch 2 Graph Compilation
तकनीकी
तकनीकी गाइड
LiteRT वर्तमान नाम है जिसका उपयोग ऑन-डिवाइस रनटाइम के लिए Google AI Edge दस्तावेज़ में किया जाता है, जिसे ऐतिहासिक रूप से TensorFlow Lite के नाम से जाना जाता है।
इस गाइड को सुनेंएआई-नैरेटेड · ~3 min
यह हार्डवेयर त्वरण विकल्पों के साथ मॉडल रूपांतरण और मोबाइल अनुमान का समर्थन करता है, लेकिन लक्ष्य प्लेटफ़ॉर्म और रनटाइम संस्करण के लिए ऑपरेटरों, प्रतिनिधियों, मॉडल प्रारूपों और डिवाइस क्षमताओं की जांच की जानी चाहिए।
वर्तमान Google AI Edge दस्तावेज़ में TensorFlow Lite का नाम बदलकर LiteRT कर दिया गया है, जबकि मौजूदा ऐप्स और मॉडल कलाकृतियाँ अभी भी TensorFlow Lite शब्दावली का उपयोग कर सकती हैं। नामकरण परिवर्तन का मतलब यह नहीं है कि प्रत्येक एप्लिकेशन को तुरंत अपना कोड फिर से लिखना होगा; उपयोग किए जा रहे विशिष्ट रनटाइम और एपीआई के लिए माइग्रेशन मार्गदर्शन का पालन करें। पुराने ट्यूटोरियल इंटरप्रेटर एपीआई का उल्लेख कर सकते हैं, जबकि वर्तमान दस्तावेज़ नए संकलित-मॉडल पथों का भी वर्णन करते हैं। एक मोबाइल वर्कफ़्लो एक प्रशिक्षित मॉडल और एक रूपांतरण चरण के साथ शुरू होता है जो एक समर्थित ऑन-डिवाइस प्रतिनिधित्व उत्पन्न करता है। रूपांतरण में अनुकूलन या परिमाणीकरण शामिल हो सकता है। संगत ऑपरेटरों, इनपुट आकार, टेंसर प्रकार और मेटाडेटा के लिए परिणाम की जांच की जानी चाहिए। यदि रूपांतरण असमर्थित संचालन की रिपोर्ट करता है, तो मॉडल को निर्यात परिवर्तन, कस्टम संचालन या एक अलग रनटाइम पथ की आवश्यकता हो सकती है। अनुमान के समय, LiteRT CPU पर निष्पादित हो सकता है और समर्थित GPU या NPU हार्डवेयर के लिए प्रतिनिधियों का उपयोग कर सकता है। एक प्रतिनिधि उन कार्यों को गति देता है जिनका वह समर्थन करता है; कॉन्फ़िगरेशन के आधार पर असमर्थित भाग किसी अन्य डिवाइस पर वापस आ सकते हैं या विफल हो सकते हैं। उपलब्धता डिवाइस मॉडल, चिपसेट विक्रेताओं, रनटाइम पैकेजिंग और ऑपरेटिंग-सिस्टम संस्करणों में भिन्न होती है। यह न मानें कि एनपीयू प्रतिनिधि केवल इसलिए मौजूद है क्योंकि फोन में एनपीयू है। परिमाणीकरण संख्यात्मक परिशुद्धता को कम कर देता है और मॉडल आकार को छोटा कर सकता है या गति में सुधार कर सकता है, लेकिन सटीकता को बदल सकता है। अंशांकन डेटा को समर्थित पोस्ट-प्रशिक्षण परिमाणीकरण विधियों के लिए इच्छित इनपुट वितरण का प्रतिनिधित्व करना चाहिए। रूपांतरण के बाद संसाधन उपयोग और कार्य मेट्रिक्स दोनों का परीक्षण करें। छवि रंग क्रम, सामान्यीकरण, टोकननाइज़र सेटिंग्स और आउटपुट डिकोडिंग को प्रशिक्षण से मेल खाने की आवश्यकता है। ऑन-डिवाइस परिनियोजन में ऐप जीवनचक्र, मेमोरी दबाव, बैटरी उपयोग, इंस्टॉलेशन आकार, गोपनीयता और संस्करण समर्थन भी शामिल है। स्टार्टअप और निरंतर रन सहित भौतिक लक्ष्य उपकरणों पर बेंचमार्क। ऐप रिलीज़ के साथ मॉडल संस्करण और रूपांतरण कॉन्फ़िगरेशन रखें। LiteRT एक रनटाइम है, यह कोई गारंटी नहीं है कि कोई मॉडल हर फ़ोन के साथ सटीक या संगत होगा।
An Android developer converts an image classifier and compares CPU inference with an available GPU or NPU delegate.
A team quantizes a model to reduce memory and tests accuracy on representative phone images before release.
A mobile app selects the LiteRT runtime documented for its chosen API and avoids mixing examples from older TensorFlow Lite versions.
An engineer measures cold load, warm latency, memory and energy on several target devices rather than relying only on desktop benchmarks.
Google AI Edge tooling will continue evolving model conversion, mobile APIs, and hardware delegation. Existing TensorFlow Lite applications may keep working while new documentation and packaging use LiteRT names. Teams should track migration guidance and test runtime upgrades on their supported device matrix. Hardware acceleration will remain device-specific, so portability requires measured fallbacks and clear minimum requirements. Runtime names and APIs will continue changing as mobile hardware evolves. Keep migration work separate from model quality checks, and maintain benchmarks across representative device classes. Delegate support should be rechecked before updates ship.
मुफ़्त न्यूज़लेटर
हर कार्यदिवस की सुबह तीन सत्यापित एआई कहानियाँ, सादे अंग्रेजी में लिखी गईं। हमेशा के लिए मुफ़्त, कोई विज्ञापन नहीं।
प्रत्येक सप्ताह के दिन एक ईमेल. एक क्लिक में सदस्यता समाप्त करें. हम आपका पता कभी नहीं बेचते या साझा नहीं करते।
स्वयं की जांच करो
प्रत्येक उत्तर पर त्वरित प्रतिक्रिया, और पाठ्यक्रम पास करने के बाद एक सत्यापन योग्य आईडी के साथ एक साझा करने योग्य प्रमाणपत्र।
निःशुल्क एआई शिक्षा का समर्थन करें। AI Understanding एक 501(c)(3) गैर-लाभकारी संस्था है - कोई विज्ञापन नहीं, कोई पेवॉल नहीं। दान करें
LiteRT वर्तमान नाम है जिसका उपयोग ऑन-डिवाइस रनटाइम के लिए Google AI Edge दस्तावेज़ में किया जाता है, जिसे ऐतिहासिक रूप से TensorFlow Lite के नाम से जाना जाता है। यह हार्डवेयर त्वरण विकल्पों के साथ मॉडल रूपांतरण और मोबाइल अनुमान का समर्थन करता है, लेकिन लक्ष्य प्लेटफ़ॉर्म और रनटाइम संस्करण के लिए ऑपरेटरों, प्रतिनिधियों, मॉडल प्रारूपों और डिवाइस क्षमताओं की जांच की जानी चाहिए।
Google's current AI Edge documentation uses LiteRT for the on-device framework previously known as TensorFlow Lite.
Delegates can accelerate supported operations on available hardware.
Model operations must be supported by the converter and chosen runtime path.
Reduced precision can affect predictions and should be validated.
Hardware vendor, runtime version and operation support determine whether delegation works.
सीखते रहो
इस विषय के लिए अधिक मार्गदर्शिकाएँ चुनी गईं
आगेअगली गाइड
torch.compile and PyTorch 2 Graph Compilation
तकनीकी