Bài kiểm tra có liên kết hướng dẫn · Cứng Cấp độ

Mô hình không gian trạng thái và câu đố Mamba

Kiểm tra độ phức tạp của chuỗi không gian trạng thái, độ chọn lọc Mamba, quét nhận biết phần cứng, trạng thái suy luận lặp lại và các mô hình kết hợp.

Đường dẫn hướng dẫn liên quanMô hình không gian trạng thái và Mamba
Câu hỏi 1 của 8

Làm thế nào để mô hình không gian trạng thái mở rộng quy mô theo độ dài chuỗi so với mức độ tự chú ý tiêu chuẩn?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. Làm thế nào để mô hình không gian trạng thái mở rộng quy mô theo độ dài chuỗi so với mức độ tự chú ý tiêu chuẩn?
    • Tỷ lệ tuyến tính, so với tỷ lệ bậc hai của sự chú ý
    • Tỷ lệ tuyến tính bậc hai, so với sự chú ý
    • Cả hai đều có quy mô giống hệt nhau
    • Theo cấp số nhân cho cả hai
  2. Đổi mới trọng tâm mà Mamba đã thêm vào các SSM có cấu trúc trước đó như S4 là gì?
    • Sử dụng sự chú ý của softmax trong nội bộ
    • Làm cho các tham số cập nhật trạng thái phụ thuộc vào đầu vào (tính chọn lọc)
    • Loại bỏ hoàn toàn trạng thái ẩn
    • Chuyển sang tính toán thời gian bậc hai
  3. Tại sao Mamba cần quét song song nhận biết phần cứng tùy chỉnh?
    • Bởi vì GPU không thể thực hiện phép nhân ma trận
    • Để giảm số lượng lớp
    • Bởi vì việc tạo các tham số phụ thuộc vào đầu vào sẽ phá vỡ thủ thuật tích chập đơn giản
    • Bởi vì nó không sử dụng tham số đã học
  4. Trong quá trình suy luận, lợi thế chính về hiệu quả của SSM như Mamba là nó sử dụng:
    • Bộ nhớ phát triển theo chiều dài chuỗi đầy đủ, giống như bộ đệm KV
    • Không có chút ký ức nào
    • Nhiều bộ nhớ hơn một Máy biến áp có cùng kích thước
    • Bộ nhớ gần như không đổi cho mỗi mã thông báo được tạo
  5. Trong các SSM có cấu trúc cổ điển (trước khi chọn lọc), phép truy toán có thể được tính toán một cách hiệu quả vì nó có thể được viết lại dưới dạng:
    • tích chập dài
    • Hoạt động Softmax
    • Cây quyết định
    • Rừng ngẫu nhiên
  6. Which language-modeling corpus did the Mamba paper use in its standard autoregressive scaling experiments?
    • ImageNet-1K
    • đống
    • LibriSpeech only
    • D4RL
  7. In the Mamba block, what operation combines the selective-SSM output with the other projected branch?
    • A nearest-neighbor lookup over audio frames
    • A cross-attention layer over image patches
    • An elementwise multiplicative interaction with a gated branch
    • A graph-degree normalization step
  8. What language-modeling result does the Mamba paper report for its 3B model?
    • It requires a Transformer cache twice as large
    • It replaces the training corpus with audio only
    • It can be trained without any data
    • It matches Transformers twice its size in pretraining and downstream evaluation