Bài kiểm tra có liên kết hướng dẫn · Trung bình Cấp độ
Câu đố về sự chú ý của cửa sổ trượt
Xem lại mặt nạ chú ý cục bộ và chia tỷ lệ cửa sổ cố định, với các trường tiếp nhận xếp chồng, bộ đệm cuộn, lớp Gemma 2 và mã thông báo toàn cầu Longformer.
Câu hỏi 1 của 8
Với cửa sổ W cố định, số hạng chú ý từng cặp N nhân W tăng như thế nào khi độ dài chuỗi N tăng?
Xem trước mọi câu hỏi8 câu hỏi
Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.
- Với cửa sổ W cố định, số hạng chú ý từng cặp N nhân W tăng như thế nào khi độ dài chuỗi N tăng?
- Bình phương theo N mặc dù W được cố định
- Tăng theo hàm mũ theo kích thước từ vựng theo định nghĩa
- Nó không bao giờ thay đổi khi bất kỳ token nào được thêm vào
- Tuyến tính theo N
- Làm thế nào các lớp chú ý cục bộ chồng lên nhau có thể lan truyền thông tin vượt quá lân cận trực tiếp của một lớp?
- Bằng cách đảm bảo khả năng ghi nhớ hoàn hảo mọi token trước đó
- Thông qua các biểu diễn trung gian được chuyển qua các lớp liên tiếp
- Bằng cách di chuyển ngẫu nhiên tọa độ của đầu vào ban đầu
- Bằng cách loại bỏ nhu cầu sử dụng tất cả các trọng số đã học
- Đối với một lớp chú ý nhân quả thuần túy cục bộ, tại sao chính sách bộ đệm có thể loại bỏ các khóa cũ hơn cửa sổ hoạt động của nó?
- Các khóa đó nằm ngoài các liên kết chú ý trực tiếp cho phép của lớp đó
- Do đó, mọi lớp mô hình phải có một giới hạn bộ nhớ toàn cục của mô hình giống hệt nhau
- Các token cũ hơn luôn không liên quan đến mọi tác vụ có thể
- Các trọng số ban đầu của mô hình đã bị xóa
- Mẫu chú ý nào được báo cáo của Gemma 2 mô tả xuyên suốt các lớp của nó?
- Chỉ có một token đầu vào bị ngắt kết nối vĩnh viễn
- Không có tính toán vị trí hoặc sự chú ý ở bất kỳ đâu
- Kết hợp luân phiên cửa sổ trượt cục bộ và sự chú ý toàn cục
- Một vùng lân cận cục bộ giống hệt bắt buộc duy nhất cho tất cả các mô hình
- Đối với cửa sổ trượt nhân quả có kích thước W, phím nào có thể truy vấn ở vị trí tôi tham dự?
- Tất cả các vị trí trong tương lai sau tôi
- Vị trí i trừ W cộng 1 đến i
- Chỉ có vị trí 0
- Một tập hợp con ngẫu nhiên của tất cả các vị trí
- Trong bộ nhớ đệm cuộn của báo cáo Mistral, khe nào lưu trữ các khóa và giá trị cho bước thời gian i với kích thước bộ đệm W?
- Một khe vĩnh viễn mới được đánh số i+W không có sự tái sử dụng
- Chỉ khe số không cho mọi bước thời gian
- Khe ở vị trí i chia lấy dư cho W
- Một khe được chọn theo thứ tự bảng chữ cái của token đầu ra
- Giá trị context_len nào được liệt kê trong bảng kiến trúc 7B Mistral gốc, tách biệt với khoảng chú ý xếp chồng lý thuyết lớn hơn của nó?
- 4096 tokens
- 131072 tokens
- 32 tokens
- 8192 tokens
- Trong thiết kế chú ý toàn cục đối xứng được nêu của Longformer, một token toàn cục được chọn kết nối với các token chuỗi khác như thế nào?
- Nó chú ý đến chúng và chúng có thể chú ý đến nó
- Nó không thể nhận được sự chú ý từ bất kỳ token nào khác
- Nó phải bỏ qua mọi token ngoài cửa sổ cục bộ của nó
- Nó yêu cầu tất cả các token phi toàn cục phải bị xóa