Bài kiểm tra có liên kết hướng dẫn · Cứng Cấp độ

Câu đố chú ý tuyến tính RWKV

Khám phá cổng tiếp nhận của RWKV, phân rã thời gian, lặp lại khóa/giá trị, trạng thái kích thước không đổi và hình thức đào tạo song song giống như Máy biến áp.

Đường dẫn hướng dẫn liên quanChú ý tuyến tính Rwkv
Câu hỏi 1 của 8

Thuộc tính tiêu đề của RWKV là gì?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. Thuộc tính tiêu đề của RWKV là gì?
    • Nó huấn luyện giống như Transformer nhưng chạy suy luận như RNN
    • Nó chỉ có thể được đào tạo trên hình ảnh
    • Nó yêu cầu bộ đệm khóa-giá trị bậc hai
    • Nó hoàn toàn không thể song song được
  2. Các chữ cái trong RWKV có nghĩa là gì?
    • Đọc, Viết, Giữ, Xác minh
    • Tiếp nhận, Trọng lượng, Chìa khóa, Giá trị
    • Tái phát, Rộng, Hạt nhân, Vector
    • Ngẫu nhiên, Có trọng số, Kiến thức, Biến thể
  3. RWKV giữ bộ nhớ không đổi trong quá trình tạo như thế nào?
    • Bằng cách xóa trọng số mô hình
    • Bằng cách lưu trữ mọi mã thông báo trên đĩa
    • Bằng cách chuyển tiếp trạng thái ẩn có kích thước cố định nhỏ thay vì bộ nhớ đệm ngày càng tăng
    • Bằng cách giới hạn đầu ra ở mười mã thông báo
  4. Trọng lượng phân rã theo thời gian (W) đóng vai trò gì?
    • Nó thiết lập tốc độ học tập
    • Nó đếm số lượng token
    • Nó chọn ngôn ngữ đầu ra
    • Nó kiểm soát tốc độ thông tin cũ mất đi ảnh hưởng
  5. So với sự chú ý của softmax, sự tái diễn sự chú ý tuyến tính của RWKV tránh được điều gì?
    • So sánh mã thông báo bậc hai tất cả các cặp
    • Bất kỳ việc sử dụng khóa và giá trị nào
    • Sự cần thiết của việc nhúng
    • Việc sử dụng mạng lưới thần kinh
  6. Tại sao RWKV đặc biệt phù hợp với việc phát trực tuyến?
    • Bởi vì nó phải nhìn thấy toàn bộ đầu vào trước bất kỳ đầu ra nào
    • Bởi vì mỗi mã thông báo mới chỉ phụ thuộc vào trạng thái kích thước cố định trước đó
    • Bởi vì nó không thể tạo ra văn bản
    • Bởi vì nó cần một cụm GPU cho mỗi token
  7. In the guide’s RWKV description, what does the receptance gate control?
    • How many image patches are generated
    • The size of the model vocabulary
    • How much of the accumulated state is read out
    • The amount of GPU memory available
  8. What training property does RWKV retain from Transformers?
    • Full quadratic key-value caching at inference
    • A separate generator and discriminator
    • A fixed top-k token router in every layer
    • Parallelizable training across sequence positions