Nội suy vị trí cho bài kiểm tra ngữ cảnh dài

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

1. Ý tưởng cốt lõi đằng sau Nội suy vị trí là gì?
   • Ép các chỉ số vị trí mới vào phạm vi mà mô hình đã được đào tạo
   • Đào tạo một mô hình hoàn toàn mới từ đầu cho mỗi chiều dài
   • Xóa hoàn toàn thông tin vị trí
   • Sắp xếp mã thông báo theo tầm quan trọng
2. Tại sao phép ngoại suy ngây thơ cho các vị thế dài hơn lại thất bại?
   • Nó sử dụng quá ít bộ nhớ
   • Nó có thể tăng điểm chú ý lên các giá trị cực kỳ lớn, không ổn định
   • Nó luôn trả về cùng một mã thông báo
   • Nó yêu cầu một tokenizer khác
3. Công việc PI ban đầu cần phải tinh chỉnh đến mức nào để mở rộng LLaMA lên 32K?
   • Không có tinh chỉnh nào cả
   • Khoảng 1 triệu bước
   • Khoảng 1.000 bước
   • Một buổi tập luyện đầy đủ
4. Nếu bạn mở rộng ngữ cảnh theo hệ số s, PI biến đổi vị trí m như thế nào?
   • Nó ánh xạ m đến m lần s
   • Nó ánh xạ m đến m bình phương
   • Nó khiến tôi không thay đổi
   • Nó ánh xạ m đến m chia cho s
5. PI đã ảnh hưởng đến các phương pháp sau này như YaRN như thế nào?
   • Nó đã trở thành cơ sở để các phương pháp nhận biết tần số được cải tiến dựa trên
   • Nó đã bị bỏ rơi và không bao giờ được trích dẫn
   • Nó thay thế kiến trúc Transformer
   • Nó chỉ áp dụng cho các mô hình hình ảnh
6. Nội suy vị trí chủ yếu nhắm mục tiêu mã hóa vị trí nào?
   • Mã hóa một lần
   • RoPE (Nhúng vị trí quay)
   • Vectơ Word2Vec
   • Số lượng từ ngữ
7. A model trained to position 2K tokens is extended to 32K using PI. What is the extension factor s?
   • 2
   • 8
   • 16
   • 32
8. With extension factor s = 16, where does PI map original position m = 16,000?
   • Position 16,000
   • Position 256,000
   • Position 32,000
   • Position 1,000