रोबोटिक्स के लिए विजन-लैंग्वेज-एक्शन मॉडल
विज़न-लैंग्वेज-एक्शन (वीएलए) मॉडल बड़े तंत्रिका नेटवर्क हैं जो कैमरे की छवियों के साथ-साथ एक लिखित निर्देश और सीधे आउटपुट रोबोट मोटर कमांड लेते हैं।
सिंहावलोकन
वे मायने रखते हैं क्योंकि वे बुनियादी मॉडलों के व्यापक सामान्य ज्ञान को भौतिक मशीनों में लाते हैं, जिससे एक मॉडल प्रत्येक व्यवहार को हाथ से कोड करने के बजाय कई कार्यों में एक रोबोट को नियंत्रित कर सकता है।
गहरा गोता
एक वीएलए मॉडल तीन धाराओं को जोड़ता है: दृष्टि (कैमरा फ्रेम), भाषा ('सिंक में कप डालना' जैसा लक्ष्य), और क्रिया (संयुक्त कोण, ग्रिपर खुला/बंद, या अंत-प्रभावक वेग)। Google डीपमाइंड का RT-2 एक मील का पत्थर था: इसने वेब छवियों और टेक्स्ट पर प्रशिक्षित एक विज़न-भाषा मॉडल लिया, फिर इसे रोबोट प्रक्षेपवक्र पर सह-ठीक किया ताकि वही नेटवर्क जवाब दे सके जो 'यह कौन सा फल है?' पाठ के रूप में टोकनयुक्त क्रियाएं भी उत्सर्जित करता है। OpenVLA (7B पैरामीटर) और फिजिकल इंटेलिजेंस के pi-0 जैसे ओपन मॉडल का अनुसरण किया गया। महत्वपूर्ण रूप से, ये मॉडल 'आकस्मिक' स्थानांतरण दिखाते हैं: वेब ज्ञान (एक ब्रांड लोगो को पहचानना, 'छोटे वाले' को समझना) में हेरफेर किया जाता है, इसलिए रोबोट उन वस्तुओं और निर्देशों को सामान्यीकृत करता है जिन्हें उसने रोबोट प्रशिक्षण के दौरान कभी नहीं देखा था।
तकनीकी अंतर्दृष्टि
कई वीएलए निरंतर क्रियाओं को टोकन में विभाजित करते हैं ताकि एक ट्रांसफार्मर शब्दों की तरह, स्वचालित रूप से उनकी भविष्यवाणी कर सके। RT-2 प्रत्येक क्रिया आयाम को 256 बिनों में से एक में मैप करता है और उन्हें टेक्स्ट स्ट्रिंग के रूप में उत्सर्जित करता है। पीआई-0 जैसे नए डिज़ाइन एक जमे हुए दृष्टि-भाषा रीढ़ की हड्डी में एक प्रसार या प्रवाह-मिलान 'एक्शन विशेषज्ञ' सिर जोड़ते हैं, जो एकल अलग-अलग चरणों के बजाय चिकनी उच्च-आवृत्ति एक्शन खंड (उदाहरण के लिए, 50 हर्ट्ज) उत्पन्न करते हैं, जिससे निपुणता में सुधार होता है।
सामरिक प्रभाव
गति और पैमाना
विज़ुअल एआई बड़े पैमाने पर निरीक्षण, पता लगाने और टैगिंग कार्यों को स्वचालित कर सकता है।
विकल्प बनाएं
रचनात्मक टीमें कम मैन्युअल संशोधनों के साथ तेजी से अवधारणाओं का प्रोटोटाइप बना सकती हैं।
टीम और वर्कफ़्लो
संचालन छवि और वीडियो संकेतों का उपयोग कर सकते हैं जिन्हें संसाधित करना पहले कठिन था।
रोबोटिक्स के लिए विज़न-लैंग्वेज-एक्शन मॉडल का भविष्य
बड़े क्रॉस-एम्बोडिमेंट डेटासेट की अपेक्षा करें (ओपन एक्स-एम्बोडिमेंट प्रयास पहले से ही 22+ रोबोट प्रकारों से डेटा एकत्र करता है) ताकि एक मॉडल हथियार, ह्यूमनॉइड और मोबाइल बेस चला सके। अनुसंधान वास्तविक समय नियंत्रण, समृद्ध 3डी और स्पर्श इनपुट और तर्क श्रृंखलाओं के लिए तेजी से अनुमान लगाने पर जोर देता है जहां मॉडल कार्य करने से पहले 'सोचता' है। लक्ष्य एक एकल सामान्यवादी नीति है जिसे आप किसी सहायक के साथ चैट करने की तरह, ऑन-द-फ्लाई सुधार के साथ, सरल अंग्रेजी में संकेत दे सकते हैं।
वास्तविक विश्व कार्यान्वयन
RT-2 एक Google रसोई रोबोट को नियंत्रित करता है जो रोबोट डेमो से नहीं बल्कि वेब टेक्स्ट से सीखे गए अंकों का उपयोग करके 'केले को नंबर 3 पर ले जाता है'
ओपनवीएलए, एक ओपन-सोर्स 7बी मॉडल है, जिसे कम लागत वाले हथियारों पर टेबलटॉप पिक-एंड-प्लेस चलाने के लिए प्रयोगशालाओं द्वारा ठीक किया गया है।
फिजिकल इंटेलिजेंस का pi-0 फोल्डिंग लॉन्ड्री और एक ही निर्देश से कई उप-कौशलों को जोड़कर एक टेबल साफ़ करना
एक गोदाम शाखा ने 'सबसे नाजुक वस्तु चुनें' और उसकी दृश्य उपस्थिति से अनुमान लगाया कि वह कौन सी वस्तु है
जोखिम और रेलिंग
यदि उत्पत्ति अस्पष्ट है तो छवि अधिकार और सहमति कानूनी जोखिम बन सकते हैं।
मॉडल का प्रदर्शन प्रकाश व्यवस्था, जनसांख्यिकी और वातावरण के अनुसार भिन्न हो सकता है।
जब तक आत्मविश्वास की सीमा की निगरानी नहीं की जाती, तब तक झूठी सकारात्मक बातों पर ध्यान नहीं दिया जा सकता।
कार्यान्वयन रोडमैप
सटीकता, रिकॉल और त्रुटि लागत के लिए स्वीकृति मानदंड परिभाषित करें।
वास्तविक उत्पादन स्थितियों से मेल खाने वाले डेटा के साथ परीक्षण करें।
कम-आत्मविश्वास या उच्च-प्रभाव वाली भविष्यवाणियों के लिए मानवीय समीक्षा जोड़ें।
कैमरा या डेटासेट में बदलाव के बाद मॉडल बहाव को ट्रैक करें और पुनः सत्यापित करें।
अन्वेषण करते रहें
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Vision-Language-Action Models for Robotics quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
अगली गाइड
सीएलआईपी और विजन-भाषा मॉडल
अक्सर पूछे जाने वाले प्रश्नों
रोबोटिक्स के लिए विज़न-लैंग्वेज-एक्शन मॉडल क्या है?
विज़न-लैंग्वेज-एक्शन (वीएलए) मॉडल बड़े तंत्रिका नेटवर्क हैं जो कैमरे की छवियों के साथ-साथ एक लिखित निर्देश और सीधे आउटपुट रोबोट मोटर कमांड लेते हैं। वे मायने रखते हैं क्योंकि वे बुनियादी मॉडलों के व्यापक सामान्य ज्ञान को भौतिक मशीनों में लाते हैं, जिससे एक मॉडल प्रत्येक व्यवहार को हाथ से कोड करने के बजाय कई कार्यों में एक रोबोट को नियंत्रित कर सकता है।
कौन से तीन प्रकार के इनपुट/आउटपुट विज़न-लैंग्वेज-एक्शन (वीएलए) मॉडल को परिभाषित करते हैं?
एक वीएलए दृष्टि (छवियों) के साथ-साथ एक भाषा लक्ष्य भी लेता है और क्रियाओं (मोटर कमांड) को आउटपुट करता है, जो धारणा, निर्देश-पालन और नियंत्रण को एकजुट करता है।
Google डीपमाइंड का RT-2 रोबोट क्रियाओं का प्रतिनिधित्व कैसे करता है ताकि एक ट्रांसफार्मर उन्हें उत्पन्न कर सके?
RT-2 ने प्रत्येक क्रिया आयाम को अलग-अलग टोकन (उदाहरण के लिए, 256 बिन) में बांधा और उन्हें एक स्ट्रिंग के रूप में उत्सर्जित किया, जिससे भाषा-मॉडल मशीनरी को शब्दों की तरह क्रियाओं की भविष्यवाणी करने में मदद मिली।
वीएलए के संदर्भ में 'आकस्मिक स्थानांतरण' का क्या अर्थ है?
क्योंकि वीएलए वेब पर प्रशिक्षित दृष्टि-भाषा मॉडल से शुरू होते हैं, लोगो को पहचानने या 'छोटे वाले' को समझने जैसा ज्ञान रोबोट डेटा में कभी नहीं देखे गए हेरफेर कार्यों में स्थानांतरित हो जाता है।
एकल असतत क्रिया टोकन की तुलना में pi-0 के प्रसार/प्रवाह-मिलान क्रिया शीर्ष का मुख्य लाभ क्या है?
एक समय में एक अलग कदम के बजाय, pi-0 उच्च आवृत्ति पर निरंतर क्रिया खंड उत्पन्न करता है, जिससे चिकनी और अधिक कुशल गति सक्षम होती है।
वीएलए के लिए ओपन एक्स-एम्बोडिमेंट डेटासेट क्यों मायने रखता है?
ओपन एक्स-एम्बोडिमेंट कई अलग-अलग रोबोटों के प्रक्षेप पथों को जोड़ता है, जो हथियारों, मोबाइल बेस और अन्य अवतारों में स्थानांतरित होने वाली नीतियों को प्रशिक्षित करने में मदद करता है।