Bài kiểm tra có liên kết hướng dẫn · Cứng Cấp độ

Bài kiểm tra mở rộng cửa sổ ngữ cảnh YaRN

Xem lại các dải tần YaRN, trộn chuyển tiếp, nhiệt độ chú ý, chi phí thích ứng và sự khác biệt giữa độ dài và hiệu suất được hỗ trợ.

Đường dẫn hướng dẫn liên quanChia tỷ lệ cửa sổ bối cảnh sợi
Câu hỏi 1 của 8

YaRN sửa đổi sơ đồ mã hóa vị trí nào để kéo dài độ dài ngữ cảnh?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. YaRN sửa đổi sơ đồ mã hóa vị trí nào để kéo dài độ dài ngữ cảnh?
    • Nhúng vị trí quay (RoPE)
    • nhúng hình sin tuyệt đối
    • Bảng tra cứu vị trí đã học
    • Độ lệch tuyến tính ALiBi
  2. YaRN xử lý các kích thước RoPE tần số cao và tần số thấp như thế nào?
    • Nó nội suy cả hai bằng nhau
    • Nó loại bỏ hoàn toàn các kích thước tần số cao
    • Nó chỉ sửa đổi kích thước tần số cao
    • Nó giữ nguyên các kích thước tần số cao và nội suy các kích thước tần số thấp
  3. How should YaRN's reported data and fine-tuning efficiency be interpreted?
    • As proof that no YaRN model ever needs training
    • As results for its evaluated model-extension setups, rather than a fixed guarantee for every model
    • As a universal promise that every dataset size works equally well
    • As removal of the need for GPUs or inference computation
  4. Bên cạnh việc thay đổi tỷ lệ tần số, YaRN còn áp dụng điều chỉnh bổ sung nào để giữ sự chú ý ở tầm xa ổn định?
    • Tỷ lệ bỏ học tăng
    • Vốn từ vựng lớn hơn
    • Điều chỉnh nhiệt độ chú ý (tỷ lệ softmax)
    • Cắt bớt độ dốc
  5. What motivates evaluating a RoPE model before using a context far beyond its original training length?
    • The model necessarily becomes perfectly accurate at longer lengths
    • The context extension automatically reduces memory to zero
    • A larger window proves every passage is equally easy to retrieve
    • Positional and attention behavior may degrade outside the conditions it learned
  6. Nội suy vị trí tuyến tính ngây thơ làm ảnh hưởng đến khả năng nào mà YaRN hướng tới bảo tồn?
    • Mối quan hệ cục bộ tốt đẹp giữa các mã thông báo lân cận
    • Kích thước từ vựng của mô hình
    • Tốc độ của tokenizer
    • Số lượng lớp
  7. What happens in the transition region between YaRN's high- and low-frequency treatments?
    • Every dimension is assigned a random vocabulary token
    • All transition dimensions are deleted from attention
    • The scheme blends original and interpolated frequency treatment across the relevant dimensions
    • One identical scaling rule ignores frequency differences entirely
  8. What does a checkpoint's advertised longer YaRN context limit fail to establish by itself?
    • Whether the positional scheme can accept any coordinates at all
    • Reliable performance for every intended task and position within that window
    • The spelling of the model's name
    • A requirement that every inference request retrain all weights