Bài kiểm tra có liên kết hướng dẫn · Trung bình Cấp độ

Câu đố về sự chú ý của cửa sổ trượt

Xem lại mặt nạ chú ý cục bộ và chia tỷ lệ cửa sổ cố định, với các trường tiếp nhận xếp chồng, bộ đệm cuộn, lớp Gemma 2 và mã thông báo toàn cầu Longformer.

Đường dẫn hướng dẫn liên quanCửa sổ trượt Chú ý
Câu hỏi 1 của 8

Với cửa sổ W cố định, số hạng chú ý từng cặp N nhân W tăng như thế nào khi độ dài chuỗi N tăng?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. Với cửa sổ W cố định, số hạng chú ý từng cặp N nhân W tăng như thế nào khi độ dài chuỗi N tăng?
    • Bình phương theo N mặc dù W được cố định
    • Tăng theo hàm mũ theo kích thước từ vựng theo định nghĩa
    • Nó không bao giờ thay đổi khi bất kỳ token nào được thêm vào
    • Tuyến tính theo N
  2. Làm thế nào các lớp chú ý cục bộ chồng lên nhau có thể lan truyền thông tin vượt quá lân cận trực tiếp của một lớp?
    • Bằng cách đảm bảo khả năng ghi nhớ hoàn hảo mọi token trước đó
    • Thông qua các biểu diễn trung gian được chuyển qua các lớp liên tiếp
    • Bằng cách di chuyển ngẫu nhiên tọa độ của đầu vào ban đầu
    • Bằng cách loại bỏ nhu cầu sử dụng tất cả các trọng số đã học
  3. Đối với một lớp chú ý nhân quả thuần túy cục bộ, tại sao chính sách bộ đệm có thể loại bỏ các khóa cũ hơn cửa sổ hoạt động của nó?
    • Các khóa đó nằm ngoài các liên kết chú ý trực tiếp cho phép của lớp đó
    • Do đó, mọi lớp mô hình phải có một giới hạn bộ nhớ toàn cục của mô hình giống hệt nhau
    • Các token cũ hơn luôn không liên quan đến mọi tác vụ có thể
    • Các trọng số ban đầu của mô hình đã bị xóa
  4. Mẫu chú ý nào được báo cáo của Gemma 2 mô tả xuyên suốt các lớp của nó?
    • Chỉ có một token đầu vào bị ngắt kết nối vĩnh viễn
    • Không có tính toán vị trí hoặc sự chú ý ở bất kỳ đâu
    • Kết hợp luân phiên cửa sổ trượt cục bộ và sự chú ý toàn cục
    • Một vùng lân cận cục bộ giống hệt bắt buộc duy nhất cho tất cả các mô hình
  5. Đối với cửa sổ trượt nhân quả có kích thước W, phím nào có thể truy vấn ở vị trí tôi tham dự?
    • Tất cả các vị trí trong tương lai sau tôi
    • Vị trí i trừ W cộng 1 đến i
    • Chỉ có vị trí 0
    • Một tập hợp con ngẫu nhiên của tất cả các vị trí
  6. Trong bộ nhớ đệm cuộn của báo cáo Mistral, khe nào lưu trữ các khóa và giá trị cho bước thời gian i với kích thước bộ đệm W?
    • Một khe vĩnh viễn mới được đánh số i+W không có sự tái sử dụng
    • Chỉ khe số không cho mọi bước thời gian
    • Khe ở vị trí i chia lấy dư cho W
    • Một khe được chọn theo thứ tự bảng chữ cái của token đầu ra
  7. Giá trị context_len nào được liệt kê trong bảng kiến trúc 7B Mistral gốc, tách biệt với khoảng chú ý xếp chồng lý thuyết lớn hơn của nó?
    • 4096 tokens
    • 131072 tokens
    • 32 tokens
    • 8192 tokens
  8. Trong thiết kế chú ý toàn cục đối xứng được nêu của Longformer, một token toàn cục được chọn kết nối với các token chuỗi khác như thế nào?
    • Nó chú ý đến chúng và chúng có thể chú ý đến nó
    • Nó không thể nhận được sự chú ý từ bất kỳ token nào khác
    • Nó phải bỏ qua mọi token ngoài cửa sổ cục bộ của nó
    • Nó yêu cầu tất cả các token phi toàn cục phải bị xóa