Викторина, связанная с руководством · Средний Уровень
Модели «видение-язык-действие» для викторины по робототехнике
Узнайте, как модели «зрение-язык-действие» объединяют входные данные камеры и инструкции с командами робота и откуда берутся их доказательства.
Вопрос 1 из 8
Какие три типа ввода/вывода определяют модель «Видение-Язык-Действие» (VLA)?
Предварительный просмотр каждого вопроса8 вопросы
Ответы и пояснения появляются по мере прохождения теста.
- Какие три типа ввода/вывода определяют модель «Видение-Язык-Действие» (VLA)?
- Изображения с камеры, языковая инструкция и действия робота
- Аудио, текст и изображения
- Журналы датчиков, GPS и состояние батареи
- Код, выходные данные компилятора и результаты тестов
- Как Google DeepMind RT-2 отображал действия робота, чтобы трансформер мог их генерировать?
- Только как непрерывные векторы с плавающей запятой
- В виде дискретных жетонов действий, аналогичных текстовым жетонам.
- Как XML-сообщение ROS
- В качестве вознаграждения за обучение с подкреплением
- Что означает «экстренная передача» в контексте VLA?
- Робот перегревается и выключается
- Два робота меняют свое программное обеспечение
- Знания веб-масштаба, полученные в результате предварительного обучения, помогают роботу справляться с новыми объектами и инструкциями.
- Действия вычисляются без какой-либо нейронной сети.
- В чем заключается ключевое преимущество головки действия диффузии/согласования потока Pi-0 по сравнению с жетонами одиночного дискретного действия?
- Это устраняет необходимость в каких-либо камерах
- Это работает только в симуляции
- Это исключает языковую инструкцию
- Он генерирует плавные высокочастотные фрагменты действий для более ловкого управления.
- Почему набор данных Open X-Embodiment важен для VLA?
- Он объединяет данные роботов по многим типам роботов, чтобы обеспечить обобщение между вариантами реализации.
- Это эталон только для подписей к изображениям.
- Он хранит данные только одного робота
- Это текстовый корпус, предназначенный только для языка.
- Which data sources did DeepMind combine when co-fine-tuning RT-2?
- Only a fixed list of hand-written joint commands
- Robot demonstration data and web data with a pretrained vision-language model
- Only audio recordings without robot observations
- Only random action tokens with no examples
- What kinds of commands can an RT-2-style action representation encode?
- Only natural-language explanations with no robot controls
- A fixed video caption for each camera frame
- Discretized robot motion and gripper commands represented as tokens
- A robot’s hardware serial number
- How broad was the RT-2 evaluation of emergent capabilities reported by Google DeepMind?
- Exactly 12 trials
- One trial for every robot type worldwide
- No physical robot trials
- More than 6,000 robotic trials