Modele wizji, języka i działania dla robotyki Quiz

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Jakie trzy typy danych wejściowych/wyjściowych definiują model wizja-język-działanie (VLA)?
   • Obrazy z kamer, instrukcja językowa i działania robota
   • Dźwięk, tekst i obrazy
   • Dzienniki czujników, GPS i stan baterii
   • Kod, dane wyjściowe kompilatora i wyniki testów
2. W jaki sposób Google RT-2 DeepMind reprezentował działania robota, aby transformator mógł je wygenerować?
   • Tylko jako ciągłe wektory zmiennoprzecinkowe
   • Jako dyskretne żetony akcji, podobne do żetonów tekstowych
   • Jako wiadomość ROS XML
   • Jako nagrody za uczenie się przez wzmacnianie
3. Co oznacza „przeniesienie wschodzące” w kontekście umów VLA?
   • Robot przegrzewa się i wyłącza
   • Dwa roboty wymieniają się oprogramowaniem
   • Wiedza uzyskana w skali sieciowej ze wstępnego szkolenia pomaga robotowi obsługiwać nowatorskie obiekty i instrukcje
   • Działania są obliczane bez żadnej sieci neuronowej
4. Jaka jest kluczowa zaleta głowicy działania dyfuzyjnego/dopasowującego przepływ pi-0 w porównaniu z żetonami pojedynczego, dyskretnego działania?
   • Eliminuje to potrzebę stosowania jakichkolwiek kamer
   • Działa tylko w symulacji
   • Eliminuje to naukę języka
   • Generuje płynne fragmenty akcji o wysokiej częstotliwości, co zapewnia bardziej zręczną kontrolę
5. Dlaczego zbiór danych Open X-Embodiment ma znaczenie dla VLA?
   • Łączy dane robotów z wielu typów robotów, aby umożliwić uogólnienie między różnymi przykładami wykonania
   • Jest to punkt odniesienia wyłącznie dla podpisów obrazów
   • Przechowuje tylko dane jednego robota
   • Jest to korpus tekstowy wyłącznie językowy
6. Which data sources did DeepMind combine when co-fine-tuning RT-2?
   • Only a fixed list of hand-written joint commands
   • Robot demonstration data and web data with a pretrained vision-language model
   • Only audio recordings without robot observations
   • Only random action tokens with no examples
7. What kinds of commands can an RT-2-style action representation encode?
   • Only natural-language explanations with no robot controls
   • A fixed video caption for each camera frame
   • Discretized robot motion and gripper commands represented as tokens
   • A robot’s hardware serial number
8. How broad was the RT-2 evaluation of emergent capabilities reported by Google DeepMind?
   • Exactly 12 trials
   • One trial for every robot type worldwide
   • No physical robot trials
   • More than 6,000 robotic trials