Bài kiểm tra có liên kết hướng dẫn · Trung bình Cấp độ
Câu đố về mẫu chú ý thưa thớt
So sánh các kết nối chú ý thưa thớt cục bộ, giãn nở, ngẫu nhiên và toàn cầu cũng như cách các hạt nhân được tối ưu hóa bỏ qua các mục không được sử dụng trong quá trình xử lý đầu vào dài.
Câu hỏi 1 của 8
Tại sao sự chú ý hoàn toàn đến bản thân lại tốn kém trong những chuỗi dài?
Xem trước mọi câu hỏi8 câu hỏi
Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.
- Tại sao sự chú ý hoàn toàn đến bản thân lại tốn kém trong những chuỗi dài?
- Giá của nó tăng theo bình phương độ dài chuỗi
- Nó không thể sử dụng GPU
- Nó chỉ hoạt động trên các từ ngắn
- Nó không yêu cầu bộ nhớ nào cả
- Sự chú ý của cửa sổ trượt (cục bộ) là gì?
- Mỗi mã thông báo tham dự vào một cơ sở dữ liệu ngẫu nhiên
- Mỗi mã thông báo chỉ tham dự với các hàng xóm lân cận của nó
- Mã thông báo không bao giờ tham dự vào bất cứ điều gì
- Mỗi mã thông báo tham dự tất cả các mã thông báo hai lần
- Mục đích của 'mã thông báo toàn cầu' khi ít được chú ý là gì?
- Để làm chậm mô hình
- Để lưu trữ hình ảnh
- Đóng vai trò là trung tâm quan tâm đến mọi thứ và mọi thứ đều quan tâm đến
- Để thay thế từ vựng
- Mô hình nào đã chứng minh rằng việc kết hợp sự chú ý ngẫu nhiên, cửa sổ và tổng thể sẽ giữ được khả năng biểu đạt sự chú ý đầy đủ?
- ResNet
- Word2Vec
- AlexNet
- chim lớn
- Đại khái số lượng kết nối sẽ tăng như thế nào trong sự chú ý thưa thớt được thiết kế tốt?
- Gần như tuyến tính với độ dài chuỗi
- Bậc hai với độ dài chuỗi
- Nó không phụ thuộc vào độ dài
- Hàm mũ với độ dài chuỗi
- What do strided or dilated sparse-attention patterns allow?
- Tính toán chúng và sau đó đặt chúng về 0
- Skip ahead to reach distant context with fewer attention links
- Gửi chúng đến một máy chủ khác
- Lưu trữ chúng vĩnh viễn
- How does Longformer combine local and global attention?
- Every token attends to every other token
- Only random edges are allowed
- Most tokens use a sliding local window, while selected global tokens connect across the sequence
- Each token attends only to the final token
- What is the goal of learned, content-based sparse attention?
- A full dense connection to every token
- A rule for removing all future tokens
- A learned vocabulary for each attention head
- Avoid spending attention compute and memory on content unrelated to the current query