Kvíz spojený s průvodcem · Střední úroveň
Kvíz vize-jazyk-akční modely pro robotiku
Zjistěte, jak modely vidění-jazyk-akce kombinují vstup z kamery a pokyny s příkazy robota a odkud pocházejí jejich důkazy.
Otázka 1 z 8
Jaké tři typy vstupů/výstupů definují model Vision-Language-Action (VLA)?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Jaké tři typy vstupů/výstupů definují model Vision-Language-Action (VLA)?
- Obrázky z kamery, jazykové instrukce a akce robota
- Zvuk, text a obrázky
- Protokoly senzorů, GPS a stav baterie
- Kód, výstup kompilátoru a výsledky testů
- Jak Google DeepMind RT-2 reprezentoval akce robota, aby je mohl generovat transformátor?
- Pouze jako spojité vektory s pohyblivou řádovou čárkou
- Jako diskretizované akční tokeny, podobné textovým tokenům
- Jako ROS zpráva XML
- Jako hodnoty odměny za posilování učení
- Co znamená „nouzový převod“ v kontextu VLA?
- Robot se přehřeje a vypne se
- Dva roboti si vymění svůj software
- Znalost webového měřítka z předběžného školení pomáhá robotovi zvládat nové objekty a instrukce
- Akce se počítají bez jakékoli neuronové sítě
- Jaká je klíčová výhoda akční hlavy pi-0 s difúzí/přizpůsobením toku ve srovnání s jednotlivými žetony diskrétní akce?
- Odstraňuje potřebu jakýchkoliv kamer
- Funguje pouze v simulaci
- Odpadá výuka jazyka
- Vytváří plynulé, vysokofrekvenční akční kousky pro obratnější ovládání
- Proč je pro VLA důležitá datová sada Open X-Ebodiment?
- Shromažďuje data o robotech z mnoha typů robotů, aby umožnila zobecnění napříč provedeními
- Je to měřítko pouze pro popisky obrázků
- Ukládá pouze data jednoho robota
- Je to pouze jazykový textový korpus
- Which data sources did DeepMind combine when co-fine-tuning RT-2?
- Only a fixed list of hand-written joint commands
- Robot demonstration data and web data with a pretrained vision-language model
- Only audio recordings without robot observations
- Only random action tokens with no examples
- What kinds of commands can an RT-2-style action representation encode?
- Only natural-language explanations with no robot controls
- A fixed video caption for each camera frame
- Discretized robot motion and gripper commands represented as tokens
- A robot’s hardware serial number
- How broad was the RT-2 evaluation of emergent capabilities reported by Google DeepMind?
- Exactly 12 trials
- One trial for every robot type worldwide
- No physical robot trials
- More than 6,000 robotic trials