Bài kiểm tra có liên kết hướng dẫn · Cứng Cấp độ

Bài kiểm tra mở rộng độ dài ngữ cảnh và YaRN

Kiểm tra cách YaRN điều chỉnh tần số RoPE, bảo toàn chi tiết cục bộ, điều chỉnh nhiệt độ chú ý và mở rộng bối cảnh bằng tinh chỉnh.

Đường dẫn hướng dẫn liên quanPhần mở rộng độ dài sợi và ngữ cảnh
Câu hỏi 1 của 8

YaRN sửa đổi phương pháp mã hóa vị trí nào để mở rộng ngữ cảnh?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. YaRN sửa đổi phương pháp mã hóa vị trí nào để mở rộng ngữ cảnh?
    • Nhúng vị trí quay (RoPE)
    • nhúng hình sin tuyệt đối
    • Bảng tra cứu vị trí đã học
    • Chỉ ma trận sai lệch tương đối
  2. Điều gì xảy ra khi mô hình RoPE thấy các chuỗi dài hơn thời lượng huấn luyện của nó?
    • Trình mã thông báo gặp sự cố
    • Các góc quay đi vào phạm vi không thể nhìn thấy và hiệu suất giảm sút
    • Mô hình chỉ xuất ra số 0
    • Các gradient trở thành chính xác một
  3. YaRN xử lý các kích thước tần số RoPE khác nhau như thế nào?
    • Nó nội suy tất cả các chiều như nhau
    • Nó xóa các kích thước tần số cao
    • Nó nội suy các kích thước tần số thấp trong khi vẫn bảo toàn phần lớn các kích thước tần số cao
    • Nó ngẫu nhiên hóa mọi chiều
  4. Ngoài việc thay đổi tỷ lệ tần số, YaRN còn áp dụng điều chỉnh bổ sung nào?
    • Công cụ mã thông báo mới
    • Nhân đôi số lớp
    • Loại bỏ chuẩn hóa lớp
    • Điều chỉnh nhiệt độ chú ý (tỷ lệ softmax)
  5. Lợi thế thực tế quan trọng của YaRN so với phép nội suy đơn giản là gì?
    • Nó tiếp cận bối cảnh dài với ít dữ liệu và bước tinh chỉnh hơn nhiều
    • Nó không cần mô hình nào cả
    • Nó chỉ hoạt động dưới 512 token
    • Nó loại bỏ sự cần thiết của GPU
  6. Tại sao phép nội suy tuyến tính đơn giản của tất cả các tần số RoPE lại có hại?
    • Nó chỉ ảnh hưởng đến các điều khoản thiên vị
    • Nó nén các kích thước tần số cao để mã hóa chi tiết cục bộ
    • Nó làm cho mô hình lớn hơn
    • Nó thay đổi kích thước từ vựng
  7. In RoPE, which vectors receive position-dependent rotations?
    • Only the value vectors
    • Only the model’s token IDs
    • The query and key vectors
    • The optimizer’s gradient and momentum
  8. What does YaRN’s attention-temperature adjustment address when context length is extended?
    • The number of GPU layers
    • The dimensions of the token vocabulary
    • The weight decay coefficient
    • Changes in attention entropy or softmax sharpness caused by the longer context