Cuestionario vinculado a una guía · Medio Nivel

Cuestionario sobre modelos de visión, lenguaje y acción para robótica

Descubra cómo los modelos de visión, lenguaje y acción combinan la entrada de la cámara y las instrucciones con los comandos del robot, y de dónde proviene su evidencia.

Rutas de guía relacionadasModelos de acción del lenguaje de visión para robótica
Pregunta 1 de 8

¿Qué tres tipos de entrada/salida definen un modelo Visión-Lenguaje-Acción (VLA)?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. ¿Qué tres tipos de entrada/salida definen un modelo Visión-Lenguaje-Acción (VLA)?
    • Imágenes de cámara, instrucción de idiomas y acciones de robots.
    • Audio, texto e imágenes.
    • Registros de sensores, GPS y estado de la batería
    • Código, salida del compilador y resultados de las pruebas.
  2. ¿Cómo representó el RT-2 de Google DeepMind las acciones del robot para que un transformador pudiera generarlas?
    • Sólo como vectores continuos de punto flotante
    • Como tokens de acción discretizados, similares a los tokens de texto.
    • Como mensaje ROS XML
    • Como valores de recompensa por el aprendizaje por refuerzo
  3. ¿Qué significa "transferencia emergente" en el contexto de los VLA?
    • El robot se sobrecalienta y se apaga.
    • Dos robots intercambian su software
    • El conocimiento a escala web obtenido del entrenamiento previo ayuda al robot a manejar objetos e instrucciones novedosos
    • Las acciones se calculan sin ninguna red neuronal.
  4. ¿Cuál es una ventaja clave del cabezal de acción de adaptación de flujo/difusión de pi-0 en comparación con los tokens de acción discretos individuales?
    • Elimina la necesidad de cámaras.
    • Sólo funciona en simulación.
    • Elimina la enseñanza del idioma.
    • Genera secuencias de acción suaves y de alta frecuencia para un control más diestro.
  5. ¿Por qué el conjunto de datos Open X-Embodiment es importante para los VLA?
    • Agrupa datos de robots de muchos tipos de robots para permitir la generalización entre realizaciones.
    • Es un punto de referencia sólo para subtítulos de imágenes.
    • Almacena solo los datos de un robot.
    • Es un corpus de texto de solo idioma.
  6. Which data sources did DeepMind combine when co-fine-tuning RT-2?
    • Only a fixed list of hand-written joint commands
    • Robot demonstration data and web data with a pretrained vision-language model
    • Only audio recordings without robot observations
    • Only random action tokens with no examples
  7. What kinds of commands can an RT-2-style action representation encode?
    • Only natural-language explanations with no robot controls
    • A fixed video caption for each camera frame
    • Discretized robot motion and gripper commands represented as tokens
    • A robot’s hardware serial number
  8. How broad was the RT-2 evaluation of emergent capabilities reported by Google DeepMind?
    • Exactly 12 trials
    • One trial for every robot type worldwide
    • No physical robot trials
    • More than 6,000 robotic trials