প্রসঙ্গ এক্সটেনশন কুইজের জন্য অবস্থান ইন্টারপোলেশন

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

1. পজিশন ইন্টারপোলেশনের মূল ধারণা কী?
   • আরো মনোযোগ মাথা যোগ করুন
   • অবস্থানের সূচকগুলিকে পুনরায় স্কেল করুন (সঙ্কুচিত করুন) যাতে তারা এক্সট্রাপোলেট করার পরিবর্তে প্রশিক্ষিত সীমার মধ্যে থাকে
   • অবস্থানগত এম্বেডিং সম্পূর্ণরূপে মুছুন
   • লম্বা সিকোয়েন্সে স্ক্র্যাচ থেকে মডেলটিকে পুনরায় প্রশিক্ষণ দিন
2. Which positional scheme did the original Position Interpolation work extend through position-index rescaling?
   • A fixed output-vocabulary lookup table only
   • No positional information of any kind
   • Rotary positional embeddings, or RoPE
   • An image compression format rather than model positions
3. Why can unmodified positional extrapolation degrade a RoPE model on much longer inputs?
   • The sequence introduces positional and attention conditions beyond the model's training experience
   • A longer context automatically retrains every parameter
   • RoPE removes all attention from the model
   • The tokenizer necessarily loses its vocabulary at a specific length
4. যদি প্রসঙ্গ দৈর্ঘ্য L থেকে L' পর্যন্ত প্রসারিত করা হয়, তাহলে বেসিক PI কোন রিস্কেলিং ফ্যাক্টর m অবস্থানে প্রযোজ্য হবে?
   • m কে L'/L দিয়ে গুণ করুন
   • মি এর সাথে L' যোগ করুন
   • শূন্যে m সেট করুন
   • m কে L'/L দিয়ে ভাগ করুন (যেমন, m / (L'/L))
5. How does YaRN's frequency-aware approach differ from uniform Position Interpolation?
   • It removes every query and key from attention
   • It changes only the output vocabulary size
   • It treats frequency bands differently to preserve local detail while extending positional range
   • It guarantees that all long-context tasks have identical accuracy
6. What makes the original Position Interpolation workflow different from pretraining a new long-context model from scratch?
   • It eliminates every need for computation
   • It adapts an existing pretrained model toward the tested longer window with rescaling and fine-tuning
   • It requires replacing all learned parameters with random values
   • It proves all models can extend indefinitely without evaluation
7. Does basic Position Interpolation inherently add new attention heads or enlarge the trainable architecture?
   • Yes; every doubled context requires twice as many attention heads
   • Yes; the vocabulary must expand by the context-length factor
   • Only the model's filename changes, with no effect on positions
   • No; it changes the position coordinates used by the existing model
8. Why must a longer-context PI deployment still assess memory and computation requirements?
   • It processes more tokens and stores relevant state; compressing position coordinates does not remove that work
   • The number of actual input tokens shrinks automatically with their positions
   • All KV-cache storage becomes zero after rescaling
   • Every extended model has unchanged latency regardless of input length