Викторина, связанная с руководством · Средний Уровень

Модели «видение-язык-действие» для викторины по робототехнике

Узнайте, как модели «зрение-язык-действие» объединяют входные данные камеры и инструкции с командами робота и откуда берутся их доказательства.

Вопрос 1 из 8

Какие три типа ввода/вывода определяют модель «Видение-Язык-Действие» (VLA)?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Какие три типа ввода/вывода определяют модель «Видение-Язык-Действие» (VLA)?
    • Изображения с камеры, языковая инструкция и действия робота
    • Аудио, текст и изображения
    • Журналы датчиков, GPS и состояние батареи
    • Код, выходные данные компилятора и результаты тестов
  2. Как Google DeepMind RT-2 отображал действия робота, чтобы трансформер мог их генерировать?
    • Только как непрерывные векторы с плавающей запятой
    • В виде дискретных жетонов действий, аналогичных текстовым жетонам.
    • Как XML-сообщение ROS
    • В качестве вознаграждения за обучение с подкреплением
  3. Что означает «экстренная передача» в контексте VLA?
    • Робот перегревается и выключается
    • Два робота меняют свое программное обеспечение
    • Знания веб-масштаба, полученные в результате предварительного обучения, помогают роботу справляться с новыми объектами и инструкциями.
    • Действия вычисляются без какой-либо нейронной сети.
  4. В чем заключается ключевое преимущество головки действия диффузии/согласования потока Pi-0 по сравнению с жетонами одиночного дискретного действия?
    • Это устраняет необходимость в каких-либо камерах
    • Это работает только в симуляции
    • Это исключает языковую инструкцию
    • Он генерирует плавные высокочастотные фрагменты действий для более ловкого управления.
  5. Почему набор данных Open X-Embodiment важен для VLA?
    • Он объединяет данные роботов по многим типам роботов, чтобы обеспечить обобщение между вариантами реализации.
    • Это эталон только для подписей к изображениям.
    • Он хранит данные только одного робота
    • Это текстовый корпус, предназначенный только для языка.
  6. Which data sources did DeepMind combine when co-fine-tuning RT-2?
    • Only a fixed list of hand-written joint commands
    • Robot demonstration data and web data with a pretrained vision-language model
    • Only audio recordings without robot observations
    • Only random action tokens with no examples
  7. What kinds of commands can an RT-2-style action representation encode?
    • Only natural-language explanations with no robot controls
    • A fixed video caption for each camera frame
    • Discretized robot motion and gripper commands represented as tokens
    • A robot’s hardware serial number
  8. How broad was the RT-2 evaluation of emergent capabilities reported by Google DeepMind?
    • Exactly 12 trials
    • One trial for every robot type worldwide
    • No physical robot trials
    • More than 6,000 robotic trials