Bài kiểm tra có liên kết hướng dẫn · Cứng Cấp độ
Bài kiểm tra về sự chú ý thưa thớt và thưa thớt theo khối
Kiểm tra sự chú ý thưa thớt, các nhánh cửa sổ lựa chọn nén của NSA, căn chỉnh phần cứng và chia tỷ lệ với các chuỗi dài.
Câu hỏi 1 của 8
Tại sao việc tự chú ý tiêu chuẩn lại tốn kém trong các chuỗi dài?
Xem trước mọi câu hỏi8 câu hỏi
Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.
- Tại sao việc tự chú ý tiêu chuẩn lại tốn kém trong các chuỗi dài?
- Giá của nó tăng theo bậc hai với độ dài chuỗi
- Nó sử dụng quá ít tham số
- Nó không thể chạy trên GPU
- Nó chỉ tham dự vào mã thông báo đầu tiên
- Ý tưởng cốt lõi của sự chú ý thưa thớt là gì?
- Loại bỏ các lớp chuyển tiếp nguồn cấp dữ liệu
- Chỉ tính toán sự chú ý giữa các khối mã thông báo đã chọn
- Chỉ sử dụng một đầu chú ý
- Nhân đôi kích thước nhúng
- Điều gì làm cho sự chú ý thưa thớt gốc (NSA) khác biệt với nhiều phương pháp thưa thớt trước đó?
- Nó loại bỏ sự chú ý hoàn toàn
- Nó chỉ hoạt động trong quá trình suy luận
- Nó có thể đào tạo từ đầu đến cuối và phù hợp với phần cứng
- Nó không yêu cầu GPU
- NSA kết hợp ba nhánh nào cho các khóa và giá trị của nó?
- Bộ mã hóa, giải mã và nhúng
- Bỏ học, bình thường hóa và gộp
- Lượng tử hóa, cắt tỉa và chưng cất
- Nén, lựa chọn và cửa sổ trượt
- Tại sao NSA sử dụng các hoạt động cấp khối thay vì độ thưa thớt cấp mã thông báo tùy ý?
- Để phù hợp với khả năng truy cập bộ nhớ GPU và thông lượng lõi tensor để tăng tốc thực sự
- Để làm cho mô hình lớn hơn
- Để tránh sử dụng sự chú ý chút nào
- Để giảm số lượng lớp
- Trong quá trình giải mã tự hồi quy, sự chú ý thưa thớt đặc biệt hữu ích vì bước đó thường là:
- Giới hạn tính toán trên phép nhân ma trận
- Bị giới hạn về bộ nhớ, do đó việc giảm mã thông báo tham dự sẽ tăng tốc
- Không phụ thuộc vào độ dài chuỗi
- Chỉ chạy trên CPU
- Nhánh nén của NSA cung cấp thông tin gì cho tính toán chú ý?
- Điểm số dày đặc đầy đủ cho mỗi cặp mã thông báo
- Chỉ khoảnh khắc đầu tiên của trình tối ưu hóa
- Tóm tắt chi tiết về các khối mã thông báo
- Một tập hợp con ngẫu nhiên của nhãn đầu ra
- Tại sao các mẫu thưa thớt đã học có thể hữu ích hơn một mặt nạ tùy ý cố định?
- Họ loại bỏ sự cần thiết phải tính toán điểm chú ý
- Họ đảm bảo không sử dụng bộ nhớ
- Họ buộc mọi mã thông báo phải tham dự trên toàn cầu
- Họ có thể chọn các khối liên quan đến đầu vào trong khi vẫn liên kết với các hoạt động phần cứng hiệu quả