Quiz lié à un guide · Moyen Niveau

Modèles Vision-Langage-Action pour le quiz robotique

Découvrez comment les modèles vision-langage-action combinent les entrées et les instructions de la caméra avec les commandes du robot, et d'où proviennent leurs preuves.

Chemins de guidage associésModèles d'action du langage de vision pour la robotique
Question 1 de 8

Quels sont les trois types d'entrées/sorties qui définissent un modèle Vision-Langage-Action (VLA) ?

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

  1. Quels sont les trois types d'entrées/sorties qui définissent un modèle Vision-Langage-Action (VLA) ?
    • Images de caméra, instructions linguistiques et actions du robot
    • Audio, texte et images
    • Journaux des capteurs, GPS et état de la batterie
    • Code, sortie du compilateur et résultats des tests
  2. Comment le RT-2 de Google DeepMind a-t-il représenté les actions du robot afin qu'un transformateur puisse les générer ?
    • En tant que vecteurs continus à virgule flottante uniquement
    • En tant que jetons d'action discrétisés, similaires aux jetons de texte
    • En tant que message XML ROS
    • Comme valeurs de récompense pour l'apprentissage par renforcement
  3. Que signifie « transfert émergent » dans le contexte des VLA ?
    • Le robot surchauffe et s'éteint
    • Deux robots échangent leur logiciel
    • Les connaissances à l'échelle du Web issues de la pré-formation aident le robot à gérer de nouveaux objets et instructions
    • Les actions sont calculées sans aucun réseau neuronal
  4. Quel est l'avantage clé de la tête d'action de diffusion/correspondance de flux du pi-0 par rapport aux jetons à action discrète unique ?
    • Cela supprime le besoin de caméras
    • Cela ne fonctionne qu'en simulation
    • Il élimine l'enseignement de la langue
    • Il génère des morceaux d'action fluides à haute fréquence pour un contrôle plus adroit.
  5. Pourquoi l’ensemble de données Open X-Embodiment est-il important pour les VLA ?
    • Il regroupe les données des robots de nombreux types de robots pour permettre une généralisation entre modes de réalisation.
    • C'est une référence uniquement pour le sous-titrage d'images
    • Il stocke les données d'un seul robot
    • Il s'agit d'un corpus de texte uniquement en langue
  6. Which data sources did DeepMind combine when co-fine-tuning RT-2?
    • Only a fixed list of hand-written joint commands
    • Robot demonstration data and web data with a pretrained vision-language model
    • Only audio recordings without robot observations
    • Only random action tokens with no examples
  7. What kinds of commands can an RT-2-style action representation encode?
    • Only natural-language explanations with no robot controls
    • A fixed video caption for each camera frame
    • Discretized robot motion and gripper commands represented as tokens
    • A robot’s hardware serial number
  8. How broad was the RT-2 evaluation of emergent capabilities reported by Google DeepMind?
    • Exactly 12 trials
    • One trial for every robot type worldwide
    • No physical robot trials
    • More than 6,000 robotic trials