Kvíz spojený s průvodcem · Střední úroveň

Kvíz vize-jazyk-akční modely pro robotiku

Zjistěte, jak modely vidění-jazyk-akce kombinují vstup z kamery a pokyny s příkazy robota a odkud pocházejí jejich důkazy.

Otázka 1 z 8

Jaké tři typy vstupů/výstupů definují model Vision-Language-Action (VLA)?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Jaké tři typy vstupů/výstupů definují model Vision-Language-Action (VLA)?
    • Obrázky z kamery, jazykové instrukce a akce robota
    • Zvuk, text a obrázky
    • Protokoly senzorů, GPS a stav baterie
    • Kód, výstup kompilátoru a výsledky testů
  2. Jak Google DeepMind RT-2 reprezentoval akce robota, aby je mohl generovat transformátor?
    • Pouze jako spojité vektory s pohyblivou řádovou čárkou
    • Jako diskretizované akční tokeny, podobné textovým tokenům
    • Jako ROS zpráva XML
    • Jako hodnoty odměny za posilování učení
  3. Co znamená „nouzový převod“ v kontextu VLA?
    • Robot se přehřeje a vypne se
    • Dva roboti si vymění svůj software
    • Znalost webového měřítka z předběžného školení pomáhá robotovi zvládat nové objekty a instrukce
    • Akce se počítají bez jakékoli neuronové sítě
  4. Jaká je klíčová výhoda akční hlavy pi-0 s difúzí/přizpůsobením toku ve srovnání s jednotlivými žetony diskrétní akce?
    • Odstraňuje potřebu jakýchkoliv kamer
    • Funguje pouze v simulaci
    • Odpadá výuka jazyka
    • Vytváří plynulé, vysokofrekvenční akční kousky pro obratnější ovládání
  5. Proč je pro VLA důležitá datová sada Open X-Ebodiment?
    • Shromažďuje data o robotech z mnoha typů robotů, aby umožnila zobecnění napříč provedeními
    • Je to měřítko pouze pro popisky obrázků
    • Ukládá pouze data jednoho robota
    • Je to pouze jazykový textový korpus
  6. Which data sources did DeepMind combine when co-fine-tuning RT-2?
    • Only a fixed list of hand-written joint commands
    • Robot demonstration data and web data with a pretrained vision-language model
    • Only audio recordings without robot observations
    • Only random action tokens with no examples
  7. What kinds of commands can an RT-2-style action representation encode?
    • Only natural-language explanations with no robot controls
    • A fixed video caption for each camera frame
    • Discretized robot motion and gripper commands represented as tokens
    • A robot’s hardware serial number
  8. How broad was the RT-2 evaluation of emergent capabilities reported by Google DeepMind?
    • Exactly 12 trials
    • One trial for every robot type worldwide
    • No physical robot trials
    • More than 6,000 robotic trials