Bài kiểm tra có liên kết hướng dẫn · Cứng Cấp độ

Câu đố về Mamba và không gian trạng thái chọn lọc

Xem lại các tham số SSM phụ thuộc vào đầu vào của Mamba, trạng thái kích thước cố định, xử lý chuỗi thời gian tuyến tính và quét song song nhận biết phần cứng.

Đường dẫn hướng dẫn liên quanMamba và không gian trạng thái chọn lọc
Câu hỏi 1 của 8

Lợi thế tính toán chính của Mamba so với Transformer tiêu chuẩn là gì?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. Lợi thế tính toán chính của Mamba so với Transformer tiêu chuẩn là gì?
    • Nó chia tỷ lệ tuyến tính với độ dài chuỗi thay vì bậc hai
    • Nó không cần dữ liệu đào tạo
    • Nó chỉ hoạt động trên hình ảnh
    • Nó loại bỏ sự cần thiết của bất kỳ trạng thái ẩn nào
  2. Từ 'chọn lọc' ám chỉ điều gì trong Mamba?
    • Nó chọn GPU nào để chạy
    • Các tham số SSM của nó phụ thuộc vào mã thông báo đầu vào, vì vậy nó có thể chọn những gì cần nhớ hoặc quên
    • Nó chỉ chọn danh từ và động từ
    • Nó chọn một tập hợp con mã thông báo ngẫu nhiên để bỏ qua
  3. Mô hình không gian trạng thái biểu diễn lịch sử của một chuỗi như thế nào?
    • Bằng cách lưu trữ rõ ràng mọi mã thông báo trước đó
    • Bằng cách vẽ bản đồ chú ý trên tất cả các cặp
    • Bằng cách nén lịch sử vào trạng thái ẩn có kích thước cố định được cập nhật từng bước
    • Nó không giữ bất kỳ lịch sử nào
  4. Tại sao Mamba không thể sử dụng phím tắt tích chập nhanh mà các SSM trước đó đã sử dụng?
    • Bởi vì tích chập là bất hợp pháp trên GPU
    • Vì nó không có tham số
    • Bởi vì nó xử lý mã thông báo theo thứ tự ngẫu nhiên
    • Bởi vì việc tạo các tham số phụ thuộc vào đầu vào sẽ phá vỡ các phép tích chập bất biến theo thời gian yêu cầu
  5. Mamba sử dụng kỹ thuật nào để duy trì tốc độ nhanh mặc dù bị mất phím tắt tích chập?
    • Quét song song nhận biết phần cứng được lưu trong bộ nhớ GPU nhanh
    • Chạy hoàn toàn trên CPU
    • Lưu trữ tất cả các cặp mã thông báo
    • Bỏ qua hầu hết trình tự
  6. Ai đã giới thiệu Mamba và khoảng khi nào?
    • OpenAI vào năm 2018
    • Albert Gu và Trí Đạo vào cuối năm 2023
    • Google vào năm 2015
    • Không có ai cả, đó chỉ là giả thuyết
  7. Which Mamba state-space parameters are made functions of the current input?
    • Only the fixed transition matrix A
    • The output vocabulary and tokenizer
    • B, C, and the step size delta
    • The attention query and key heads
  8. What do the variable B, C, and delta parameters let Mamba do?
    • Build a growing key-value cache for every token
    • Route each token to an expert network only
    • Replace the state update with full all-pairs attention
    • Choose how much information to let into the state and how much to retain based on the input