DalšíDalší průvodce
Modely CLIP a Vision-Language
Vizuální AI
Vizuální průvodce AI
Modely Vision-language-action (VLA) podmiňují činnost robota vizuálními pozorováními a jazykovými instrukcemi.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Citované články RT-2, π0 a Open X popisují různé architektury a hodnocení.
Modely vidění-jazyk-akce podmiňují činnost robota pozorováním kamery a jazykovými instrukcemi. RT-2 představuje akce robota jako diskretizované tokeny, včetně změn polohy koncového efektoru a rotace a stavu chapadla. DeepMind společně doladil předtrénovaný model jazyka vidění pomocí robotických dat a webových dat a poté oznámil více než 6 000 testů robotického hodnocení. Jeho příklady emergentního přenosu se týkají testovaných objektů a instrukcí; nezakládají svévolné zobecňování úkolů. Samostatný systém, π0, přidává experta na akce na přizpůsobení toku, který generuje kontinuální bloky akcí. Papír uvádí ovládání při frekvencích až 50 Hz pro hodnocené obratné úkoly, jako je skládání prádla. Open X-Embodiment shromažďuje ukázky z 22 provedení robotů na podporu výzkumu mezi roboty. Šířka datové sady, reprezentace akcí a předvedený přenos jsou různé vlastnosti, z nichž každá vyžaduje vyhodnocení ve specifikovaném nastavení.
Papírový výsledek: RT-2 představuje diskretizované akce robota jako tokeny pro transformátor.
Papírový výsledek: π0 používá ve svém hlášeném nastavení řízení robota odborníka na akce přizpůsobení průtoku.
Zdroj papíru: Open X-Ebodiment shromažďuje ukázky z různých provedení robotů.
Ilustrativní: vyhodnoťte natrénovanou politiku pro nové objekty pouze v rámci kontrolovaného a bezpečného testovacího protokolu.
Vyhodnoťte přenos VLA na cílovém provedení, objektech a instrukční sadě. Hlásit robota, ovládací prvky a kritéria úspěchu; výsledky z jednoho benchmarku nezakládají všeobecné nasazení.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Modely Vision-language-action (VLA) podmiňují činnost robota vizuálními pozorováními a jazykovými instrukcemi. Citované články RT-2, π0 a Open X popisují různé architektury a hodnocení.
VLA přebírá vizi (obrazy) plus jazykový cíl a vydává akce (motorické příkazy), sjednocuje vnímání, následování pokynů a kontrolu.
RT-2 sloučil každou dimenzi akcí do samostatných tokenů (např. 256 přihrádek) a vysílal je jako řetězec, což umožnilo mechanismu jazykového modelu předvídat akce, jako jsou slova.
RT-2 používá „emergentní přenos“ pro hodnocené případy, kdy předtrénování jazyka vidění na webu pomohlo robotovi reagovat na nové objekty nebo instrukce. Toto je výsledek v papírovém rozsahu, není zárukou pro libovolné objekty nebo příkazy.
Papír π0 uvádí dílčí nepřetržité akce od svého experta na akce přizpůsobení průtoku při frekvenci řízení 50 Hz v hodnoceném nastavení. Toto je nahlášený detail ovládání, který nezaručuje lepší obratnost každého robota.
Open X-Embodiment sdružuje ukázky robotů v různých provedeních, aby podpořil výzkum mezi roboty. Diverzita datové sady umožňuje studium; nezaručuje, že se jedna politika přenese na každého robota.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Modely CLIP a Vision-Language
Vizuální AI