Bài kiểm tra có liên kết hướng dẫn · Trung bình Cấp độ

Mô hình hành động-ngôn ngữ-thị giác cho bài kiểm tra về robot

Tìm hiểu cách các mô hình hành động-ngôn ngữ-hình ảnh kết hợp thông tin đầu vào và hướng dẫn của camera với các lệnh của robot cũng như bằng chứng của chúng đến từ đâu.

Đường dẫn hướng dẫn liên quanMô hình hành động ngôn ngữ tầm nhìn cho robot
Câu hỏi 1 của 8

Ba loại đầu vào/đầu ra nào xác định mô hình Tầm nhìn-Ngôn ngữ-Hành động (VLA)?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. Ba loại đầu vào/đầu ra nào xác định mô hình Tầm nhìn-Ngôn ngữ-Hành động (VLA)?
    • Hình ảnh camera, hướng dẫn ngôn ngữ và hành động của robot
    • Âm thanh, văn bản và hình ảnh
    • Nhật ký cảm biến, GPS và trạng thái pin
    • Mã, đầu ra của trình biên dịch và kết quả kiểm tra
  2. Google RT-2 của DeepMind thể hiện hành động của robot như thế nào để máy biến thế có thể tạo ra chúng?
    • Chỉ là các vectơ dấu phẩy động liên tục
    • Là mã thông báo hành động rời rạc, tương tự như mã thông báo văn bản
    • Dưới dạng XML thông báo ROS
    • Là giá trị phần thưởng cho việc học tăng cường
  3. 'Chuyển khoản khẩn cấp' có nghĩa là gì trong bối cảnh của VLA?
    • Robot quá nóng và tắt
    • Hai robot trao đổi phần mềm của chúng
    • Kiến thức trên quy mô web từ quá trình đào tạo trước giúp robot xử lý các đối tượng và hướng dẫn mới
    • Các hành động được tính toán mà không cần bất kỳ mạng lưới thần kinh nào
  4. Ưu điểm chính của đầu hành động khuếch tán/điều chỉnh dòng chảy của pi-0 so với các mã thông báo hành động riêng biệt là gì?
    • Nó loại bỏ sự cần thiết của bất kỳ máy ảnh
    • Nó chỉ hoạt động trong mô phỏng
    • Nó loại bỏ việc hướng dẫn ngôn ngữ
    • Nó tạo ra các khối hành động tần số cao, mượt mà để điều khiển khéo léo hơn
  5. Tại sao tập dữ liệu Open X-Embodiment lại quan trọng đối với VLA?
    • Nó tập hợp dữ liệu robot trên nhiều loại robot để cho phép khái quát hóa theo nhiều phương án
    • Đây chỉ là điểm chuẩn dành cho chú thích hình ảnh
    • Nó chỉ lưu trữ dữ liệu của một robot
    • Nó là một kho văn bản chỉ có ngôn ngữ
  6. Which data sources did DeepMind combine when co-fine-tuning RT-2?
    • Only a fixed list of hand-written joint commands
    • Robot demonstration data and web data with a pretrained vision-language model
    • Only audio recordings without robot observations
    • Only random action tokens with no examples
  7. What kinds of commands can an RT-2-style action representation encode?
    • Only natural-language explanations with no robot controls
    • A fixed video caption for each camera frame
    • Discretized robot motion and gripper commands represented as tokens
    • A robot’s hardware serial number
  8. How broad was the RT-2 evaluation of emergent capabilities reported by Google DeepMind?
    • Exactly 12 trials
    • One trial for every robot type worldwide
    • No physical robot trials
    • More than 6,000 robotic trials