রোটারি পজিশন এমবেডিং কুইজ

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

1. কিভাবে RoPE একটি ট্রান্সফরমারে অবস্থানের তথ্য ইনজেক্ট করে?
   • একটি অবস্থান-নির্ভর কোণ দ্বারা ক্যোয়ারী এবং কী ভেক্টরে মাত্রার জোড়া ঘোরানোর মাধ্যমে
   • ইনপুট এমবেডিং এ একটি নির্দিষ্ট ভেক্টর যোগ করে
   • টোকেনগুলিকে এলোমেলোভাবে পুনর্বিন্যাস করে
   • টেক্সট হিসাবে অবস্থান সংখ্যা যোগ করে
2. RoPE প্রয়োগ করার পরে, দুটি টোকেনের মধ্যে মনোযোগের স্কোর প্রাথমিকভাবে নির্ভর করে:
   • তাদের পরম অবস্থান শুধুমাত্র
   • তাদের আপেক্ষিক দূরত্ব (m বিয়োগ n)
   • শব্দভান্ডারের আকার
   • ব্যাচের আকার
3. What training-efficiency comparison did the YaRN paper report for context extension?
   • Exactly the same data and steps as all prior methods
   • No fine-tuning or training data of any kind
   • About 10x fewer tokens and 2.5x fewer training steps than prior methods
   • A fixed 100x increase in output tokens
4. RoPE-তে বিভিন্ন মাত্রার জোড়া বিভিন্ন ফ্রিকোয়েন্সিতে কেন ঘোরে?
   • কিছু মাত্রা এড়িয়ে মেমরি সংরক্ষণ করতে
   • মডেলের আউটপুট র্যান্ডমাইজ করতে
   • কারণ সব জোড়া একই কোণ ব্যবহার করতে হবে
   • সূক্ষ্ম স্থানীয় অর্ডার এবং দীর্ঘ-পরিসীমা অবস্থান উভয় ক্যাপচার করতে
5. What is the goal of techniques such as Position Interpolation and YaRN for RoPE-based models?
   • Extend the usable context length beyond the original training window using additional scaling/fine-tuning methods
   • Guarantee accurate recall at any sequence length with no evaluation
   • Remove position information from attention
   • Replace all token embeddings with absolute learned vectors
6. Does standard RoPE require learned absolute-position vectors to inject position into query and key representations?
   • Yes; it adds one learned vector for every possible sequence position
   • No; it applies position-dependent rotations to paired query/key dimensions
   • It removes query and key vectors entirely
   • It only adds position to value vectors
7. What does standard RoPE alone guarantee about a model’s context length?
   • Unlimited accurate context at every position
   • A fixed context of exactly 128 tokens
   • It does not by itself guarantee reliable use beyond the trained context length
   • Removal of the attention mechanism
8. What extended context length did the Position Interpolation paper report for its LLaMA evaluations?
   • Exactly 1,000 tokens with no position changes
   • Unlimited context with no fine-tuning
   • Up to 2 million tokens for all models
   • Up to 32,768 tokens with minimal fine-tuning