Bài kiểm tra có liên kết hướng dẫn · Trung bình Cấp độ

Bài kiểm tra mô hình ngữ cảnh dài

Xem lại các cửa sổ ngữ cảnh, chi phí chú ý, truy xuất theo vị trí, FlashAttention và đánh giá việc sử dụng ngữ cảnh hiệu quả.

Đường dẫn hướng dẫn liên quanMô hình hóa bối cảnh dài
Câu hỏi 1 của 8

'Cửa sổ ngữ cảnh' của mô hình đề cập đến điều gì?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. 'Cửa sổ ngữ cảnh' của mô hình đề cập đến điều gì?
    • Số lượng mã thông báo tối đa nó có thể tham dự trong một lần vượt qua
    • Kích thước màn hình của giao diện trò chuyện
    • Số lượng người dùng được phép cùng một lúc
    • Mô hình đã được đào tạo trong bao lâu
  2. Tại sao việc tự chú ý theo tiêu chuẩn lại trở nên tốn kém khi nhập liệu lâu?
    • Nó phát triển tuyến tính và luôn rẻ
    • Tính toán và bộ nhớ của nó tăng theo bậc hai với độ dài chuỗi
    • Nó không thể đọc nhiều hơn một mã thông báo
    • Nó chỉ hoạt động trên hình ảnh
  3. Vấn đề 'lạc giữa chừng' là gì?
    • Người mẫu hoàn toàn quên mất việc đào tạo của họ
    • Mô hình chỉ có thể đọc phần giữa của tài liệu
    • Mô hình nhớ lại thông tin ở đầu và cuối của một đầu vào dài tốt hơn so với các thông tin bị chôn vùi ở giữa
    • Người mẫu dịch phần giữa sang ngôn ngữ khác
  4. FlashAttention chủ yếu cải thiện điều gì?
    • Nó làm cho văn bản đầu ra của mô hình dài hơn
    • Nó tự động thêm nhiều dữ liệu đào tạo hơn
    • Nó loại bỏ sự cần thiết phải chú ý
    • Nó làm giảm tắc nghẽn bộ nhớ bằng tính toán xếp lớp, nhận biết IO
  5. Vai trò của nhúng vị trí quay (RoPE) đóng vai trò gì trong các mô hình ngữ cảnh dài?
    • Chúng mã hóa các vị trí mã thông báo và với phép nội suy, giúp khái quát hóa thành các chuỗi dài hơn
    • Họ xóa mã thông báo khỏi đầu vào
    • Họ dịch văn bản giữa các ngôn ngữ
    • Họ lưu trữ trọng lượng của mô hình
  6. What does prompt-cache research reuse across compatible requests?
    • The final answer regardless of the new query
    • Computed attention state for reusable prompt segments
    • A fixed set of token IDs without model computation
    • The model’s training data
  7. What does the RULER benchmark add beyond locating one isolated “needle” fact?
    • Chỉ phân loại hình ảnh
    • Audio transcription from waveforms
    • Tasks such as multi-hop tracing and aggregation over long contexts
    • GPU memory allocation benchmarks
  8. Why test several task types when measuring a model’s effective context length?
    • Every task uses the same computation
    • The advertised window guarantees all tasks work
    • Task type never affects context use
    • A model may handle simple retrieval yet fail to combine or track information across a long input