Co se stalo
Výzkumníci z The Movement Lab na Stanfordské univerzitě vyvinuli HomeBody, systém, který umožňuje humanoidním robotům – konkrétně Unitree G1 – navigovat a provádět úkoly s dlouhým horizontem v dříve neviděných prostředích bez školení specifického pro dané prostředí. Díky integraci GPT-6 Astra jako logického agenta na vysoké úrovni tento systém umožňuje robotům uklízet místnosti, získávat předměty a spravovat věci v domácnosti pomocí uspořádání knihovny opakovaně použitelných motorických dovedností.
HomeBody funguje tak, že humanoidního robota vybaví systémem prostorové paměti, který spojuje vizuální pozorování s zapamatovanými místy. Systém využívá třídílnou architekturu, kde VLM (GPT-6 Astra) funguje jako plánovač na vysoké úrovni a vybírá z knihovny předem definovaných motorických dovedností, jako je navigace, vybírání, umísťování a otevírání zásuvek.
Aby mohl robot pracovat v neznámém prostoru, nejprve provede průzkumnou fázi, kdy sbírá video, LiDAR a data o společné pozici. Tato data jsou použita k sestavení digitálního dvojčete v Isaac Sim, které slouží jako prostorový model. To umožňuje VLM uvažovat o objektech a místech, které aktuálně nejsou v pohledu robota na ego.
Když VLM dostane úkol, jako je „uklidit kuchyň“, vydá strukturovaná volání nástrojů místnímu ovladači robota. Systém obsahuje zpětnovazební smyčky, kde se robot může pokusit o neúspěšné akce nebo, pokud úkol zůstává nemožný, nahlásit selhání zpět do VLM, aby upravil plán.
Současná implementace běží na notebooku Razer Blade vybaveném GPU RTX 4090, který zpracovává místní vnímání a plánování pohybu, zatímco uvažování VLM se provádí na dálku.
Podrobnosti o zdroji: tml.stanford.edu ↗
Proč na tom záleží
HomeBody řeší kritické úzké místo v robotice: schopnost robota udržovat koherentní plán napříč velkým prostorem, když se objekty pohybují mimo jeho bezprostřední zorné pole. Tím, že poskytuje VLM trvalou prostorovou paměť a rekonstrukci digitálního dvojčete, systém umožňuje komplexní, vícestupňovou manipulaci bez nutnosti komplexního školení pro každou konkrétní místnost. To představuje posun směrem k používání hraničních modelů na vysoké úrovni k přímému řízení dovedností modulárních robotů, což potenciálně snižuje potřebu specializovaného učení se zásadám specifickým pro prostředí. Systém však v současnosti čelí praktickým omezením, včetně latence ze vzdálených modelových volání, omezení hardwarové výdrže a požadavku na značný místní výpočetní výkon.
Systém ukazuje, že hraniční modely na vysoké úrovni mohou efektivně řídit úkoly s dlouhým horizontem sestavením modulárních dovedností, spíše než se spoléhat na jedinou, monolitickou politiku. Tato modularita umožňuje větší flexibilitu, protože do knihovny lze přidat nové dovednosti bez přeškolování celého systému.
Ukotvením úvah VLM do trvalé prostorové mapy může robot řešit nejednoznačné požadavky a navigovat k objektům, které nejsou okamžitě viditelné, což je významný krok směrem k autonomnější domácí robotice.
Spoléhání se na rekonstrukci Real2Sim a vzdálená volání API přináší smysluplné neznámé, pokud jde o náklady na nasazení v reálném světě a škálovatelnost systému v prostředích s vysokou úrovní nepořádku nebo dynamickými změnami.
Interaktivní mechanismus: Jak to vlastně funguje
Interaktivně prozkoumejte základní technologii tohoto vývoje.
An agent must create a draft calendar event for Tuesday at 2 p.m. Which evidence would establish the requested result?
Na co se dále dívat
Budoucí vývoj se pravděpodobně zaměří na snížení latence mezi uvažováním VLM a fyzickým provedením robota, stejně jako na zlepšení efektivity procesu rekonstrukce Real2Sim. Pozorovatelé by měli sledovat, zda se tento modulární přístup k orchestraci „Systému 2“ může rozšířit do složitějších, nestrukturovaných prostředí mimo kontrolované kuchyňské prostředí a jak se vypořádává s hardwarovými omezeními, jako je přehřívání servopohonů během prodlouženého provozu.
Výzkumníci poznamenali, že systém je v současné době omezen fyzickým dosahem humanoida, manipulačními schopnostmi a hardwarovou odolností, konkrétně zmiňují přehřívání serva prstů.
Požadavek na GPU třídy RTX 4090 pro lokální zpracování naznačuje, že nasazení tohoto systému na kompaktnější nebo mobilní hardware zůstává výzvou.
Klíčovou oblastí pro zlepšení je dopad latence uvažování GPT-6 Astra na výkon v reálném čase, protože v současnosti zavádí pauzy mezi prováděním jednotlivých dovedností.