Bài kiểm tra nhúng vị trí quay

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

1. RoPE đưa thông tin vị trí vào máy biến áp như thế nào?
   • Bằng cách xoay các cặp kích thước trong truy vấn và vectơ khóa theo một góc phụ thuộc vào vị trí
   • Bằng cách thêm một vectơ cố định vào phần nhúng đầu vào
   • Bằng cách sắp xếp lại các token một cách ngẫu nhiên
   • Bằng cách thêm số vị trí dưới dạng văn bản
2. Sau khi áp dụng RoPE, điểm chú ý giữa hai token phụ thuộc chủ yếu vào:
   • Vị trí tuyệt đối của họ chỉ
   • Khoảng cách tương đối của chúng (m trừ n)
   • Kích thước từ vựng
   • Kích thước lô
3. What training-efficiency comparison did the YaRN paper report for context extension?
   • Exactly the same data and steps as all prior methods
   • No fine-tuning or training data of any kind
   • About 10x fewer tokens and 2.5x fewer training steps than prior methods
   • A fixed 100x increase in output tokens
4. Tại sao các cặp kích thước khác nhau lại quay ở các tần số khác nhau trong RoPE?
   • Để tiết kiệm bộ nhớ bằng cách bỏ qua một số kích thước
   • Để ngẫu nhiên hóa kết quả đầu ra của mô hình
   • Bởi vì tất cả các cặp phải sử dụng cùng một góc
   • Để nắm bắt cả trật tự địa phương tốt và vị trí tầm xa
5. What is the goal of techniques such as Position Interpolation and YaRN for RoPE-based models?
   • Extend the usable context length beyond the original training window using additional scaling/fine-tuning methods
   • Guarantee accurate recall at any sequence length with no evaluation
   • Remove position information from attention
   • Replace all token embeddings with absolute learned vectors
6. Does standard RoPE require learned absolute-position vectors to inject position into query and key representations?
   • Yes; it adds one learned vector for every possible sequence position
   • No; it applies position-dependent rotations to paired query/key dimensions
   • It removes query and key vectors entirely
   • It only adds position to value vectors
7. What does standard RoPE alone guarantee about a model’s context length?
   • Unlimited accurate context at every position
   • A fixed context of exactly 128 tokens
   • It does not by itself guarantee reliable use beyond the trained context length
   • Removal of the attention mechanism
8. What extended context length did the Position Interpolation paper report for its LLaMA evaluations?
   • Exactly 1,000 tokens with no position changes
   • Unlimited context with no fine-tuning
   • Up to 2 million tokens for all models
   • Up to 32,768 tokens with minimal fine-tuning