Awọn awoṣe Iṣe-Ede-Iriran fun Awọn Robotics
Awọn awoṣe Iran-Language-Action (VLA) jẹ awọn nẹtiwọọki nkankikan nla ti o mu ni awọn aworan kamẹra pẹlu itọnisọna kikọ ati awọn pipaṣẹ ọkọ ayọkẹlẹ robot jade taara.
Akopọ
Wọn ṣe pataki nitori wọn mu ori ti o wọpọ ti awọn awoṣe ipilẹ wa si awọn ẹrọ ti ara, jẹ ki awoṣe kan ṣakoso robot kọja ọpọlọpọ awọn iṣẹ-ṣiṣe dipo ifaminsi ihuwasi kọọkan.
Jin Dive
Awoṣe VLA kan dapọ awọn ṣiṣan mẹta: iran (awọn fireemu kamẹra), ede ( ibi-afẹde kan bi 'fi ago sinu iho'), ati iṣe (awọn igun apapọ, gripper ṣiṣi / sunmọ, tabi awọn iyara ipa-ipari). Google DeepMind's RT-2 jẹ ami-ilẹ: o mu awoṣe ede-iran ti ikẹkọ lori awọn aworan wẹẹbu ati ọrọ, lẹhinna ṣajọ-daradara-aifwy rẹ lori awọn itọpa robot nitorina nẹtiwọki kanna ti o le dahun 'eso kini eyi?' tun njade awọn iṣe tokenized bi ọrọ. Ṣii awọn awoṣe bii OpenVLA (awọn paramita 7B) ati pi-0 oye ti ara ti o tẹle. Ni pataki, awọn awoṣe wọnyi ṣe afihan gbigbe 'pajawiri': imọ wẹẹbu (ti idanimọ ami iyasọtọ kan, agbọye 'eyiti o kere julọ') gbejade sinu ifọwọyi, nitorinaa robot gbogbogbo si awọn nkan ati awọn ilana ti ko rii lakoko ikẹkọ roboti.
Imọ-imọ-ẹrọ
Ọpọlọpọ awọn VLA ṣe iyasọtọ awọn iṣe ti nlọ lọwọ sinu awọn ami-ami nitorinaa oluyipada kan le sọ asọtẹlẹ wọn ni aifọwọyi, gẹgẹ bi awọn ọrọ. Awọn maapu RT-2 ni iwọn igbese kọọkan si ọkan ninu awọn apoti 256 ati gbejade wọn bi okun ọrọ. Awọn aṣa tuntun bii pi-0 so kaakiri tabi ṣiṣan-ibaramu 'iwé iṣe' ori si ẹhin ẹhin iran iran ti o tutu, ti n ṣe agbejade awọn chunks iṣẹ igbohunsafẹfẹ giga-giga (fun apẹẹrẹ, 50 Hz) dipo awọn igbesẹ ọtọtọ ẹyọkan, imudara dexterity.
Ipa Ilana
Iyara ati iwọn
Visual AI le ṣe adaṣe adaṣe, wiwa, ati awọn iṣẹ ṣiṣe taagi ni iwọn.
Kọ awọn yiyan
Awọn ẹgbẹ ẹda le ṣe apẹrẹ awọn imọran yiyara pẹlu awọn atunyẹwo afọwọṣe diẹ.
Ẹgbẹ ati ṣiṣan iṣẹ
Awọn iṣẹ ṣiṣe le lo aworan ati awọn ifihan agbara fidio ti o nira tẹlẹ lati ṣiṣẹ.
Ọjọ iwaju ti Awọn awoṣe Iṣe-Ede-Iran fun Awọn Robotics
Reti awọn iwe data igbelewọn agbekọja nla (igbiyanju Ṣii X-Embodiment ti ṣajọ data tẹlẹ lati awọn oriṣi roboti 22+) nitorinaa awoṣe kan ṣe awakọ awọn apa, awọn eniyan, ati awọn ipilẹ alagbeka. Iwadi titari si itọkasi iyara fun iṣakoso akoko gidi, 3D ti o ni ọrọ ati awọn igbewọle tactile, ati awọn ẹwọn ero nibiti awoṣe 'ro' ṣaaju ṣiṣe. Ibi-afẹde naa jẹ eto imulo gbogbogbo kan ṣoṣo ti o le tọ ni Gẹẹsi itele, pẹlu atunse lori-fly, pupọ bii sisọ pẹlu oluranlọwọ kan.
Real-World imuse
RT-2 ti n ṣakoso roboti idana Google lati 'gbe ogede lọ si nọmba 3' ni lilo awọn nọmba ti o kọ lati ọrọ wẹẹbu, kii ṣe awọn demos robot.
OpenVLA, awoṣe 7B orisun-ìmọ, ti o dara-aifwy nipasẹ awọn ile-iṣẹ lati ṣiṣe yiyan tabili tabili lori awọn ọwọ idiyele kekere
Pi-0 ifọṣọ kika oye ti ara ati imukuro tabili kan nipa didin ọpọlọpọ awọn ọgbọn-ipin lati itọnisọna kan
Apa ile-itaja kan sọ fun 'mu ohun ẹlẹgẹ julọ' ati inferring kini nkan ti o jẹ lati irisi wiwo rẹ
Awọn ewu & Awọn ọna iṣọ
Awọn ẹtọ aworan ati igbanilaaye le di awọn eewu labẹ ofin ti o ba jẹ afihan.
Iṣe awoṣe le yatọ kọja ina, awọn ẹda eniyan, ati awọn agbegbe.
Awọn idaniloju eke le ma ṣe akiyesi ayafi ti a ba ṣe abojuto awọn ala igbẹkẹle.
Ilana Ilana imuse
Ṣetumo awọn ibeere gbigba fun pipe, iranti, ati awọn idiyele aṣiṣe.
Ṣe idanwo pẹlu data ti o baamu awọn ipo iṣelọpọ gidi.
Ṣafikun atunyẹwo eniyan fun igbẹkẹle kekere tabi awọn asọtẹlẹ ipa-giga.
Tọpinpin awoṣe ki o ṣe tunṣe lẹhin kamẹra tabi awọn ayipada datasetto.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Vision-Language-Action Models for Robotics quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
CLIP ati Awọn awoṣe Ede Iran
Awọn ibeere ti a beere nigbagbogbo
Kini awọn awoṣe Vision-Language-Action fun Robotics?
Awọn awoṣe Iran-Language-Action (VLA) jẹ awọn nẹtiwọọki nkankikan nla ti o mu ni awọn aworan kamẹra pẹlu itọnisọna kikọ ati awọn pipaṣẹ ọkọ ayọkẹlẹ robot jade taara. Wọn ṣe pataki nitori wọn mu oye ti o wọpọ ti awọn awoṣe ipilẹ si awọn ẹrọ ti ara, jẹ ki awoṣe kan ṣakoso robot kan kọja ọpọlọpọ awọn iṣẹ-ṣiṣe dipo ifaminsi ihuwasi kọọkan.
Awọn oriṣi mẹta ti igbewọle/jade ti n ṣalaye awoṣe Iṣe-ede-Iran (VLA) kan?
VLA kan n gba iran (awọn aworan) pẹlu ibi-afẹde ede kan ati awọn iṣejade (awọn pipaṣẹ mọto), iwoye isokan, itọni-tẹle, ati iṣakoso.
Bawo ni Google DeepMind's RT-2 ṣe aṣoju awọn iṣe robot ki ẹrọ iyipada le ṣe agbejade wọn?
RT-2 ṣe iwọn iwọn igbese kọọkan sinu awọn ami iyasọtọ (fun apẹẹrẹ, awọn apoti 256) o si gbejade wọn bi okun, jẹ ki ẹrọ awoṣe-ede sọ asọtẹlẹ awọn iṣe bii awọn ọrọ.
Kini 'gbigbe pajawiri' tumọ si ni ọrọ ti awọn VLA?
Nitoripe awọn VLA bẹrẹ lati awọn awoṣe ede-iriran ti oṣiṣẹ lori oju opo wẹẹbu, imọ bii idanimọ awọn aami tabi agbọye 'eyiti o kere' gbe lọ si awọn iṣẹ ifọwọyi ti a ko rii ninu data roboti.
Kini anfani bọtini ti pi-0's itankale / ori iṣe ibamu-sisan ni akawe si awọn ami iṣe adaṣe ọtọtọ kan?
Dipo igbesẹ ọtọtọ kan ni akoko kan, pi-0 ṣe agbejade awọn iṣẹ ṣiṣe lilọsiwaju ni igbohunsafẹfẹ giga, ti n mu ki o rọra ati išipopada dexterous diẹ sii.
Kini idi ti Šii X-Embodiment datasetset ṣe pataki fun awọn VLA?
Ṣii X-Embodiment daapọ awọn itọpa lati ọpọlọpọ awọn roboti oriṣiriṣi, iranlọwọ awọn eto imulo ọkọ oju irin ti o gbe kọja awọn apá, awọn ipilẹ alagbeka, ati awọn ilana miiran.