কেভি ক্যাশে অপ্টিমাইজেশান কুইজ

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

1. কেভি ক্যাশে কি সঞ্চয় করে এবং কেন?
   • পূর্বে গণনা করা মনোযোগ কী এবং মান যাতে প্রতিটি ধাপে পুনরায় গণনা করা হয় না
   • পুনরায় প্রশিক্ষণের জন্য মডেলের প্রশিক্ষণ ডেটা
   • প্রমাণীকরণের জন্য ব্যবহারকারীর পাসওয়ার্ড
   • শুধুমাত্র চূড়ান্ত পাঠ্য আউটপুট
2. কেন কেভি ক্যাশে একটি মেমরি সমস্যা হতে পারে?
   • এটি স্থায়ীভাবে GPU কে দূষিত করে
   • এটি ক্রম দৈর্ঘ্য, ব্যাচের আকার এবং স্তরগুলির সাথে বৃদ্ধি পায়, কখনও কখনও মডেলের ওজনকে অতিক্রম করে
   • এটি শুধুমাত্র 10 শব্দের চেয়ে ছোট টেক্সটে কাজ করে
   • এটি অপারেটিং সিস্টেমের নকল করে
3. PagedAttention কি অপারেটিং-সিস্টেম ধারণা ধার করে?
   • ডিস্ক ডিফ্র্যাগমেন্টেশন ইউটিলিটি
   • অ্যান্টিভাইরাস স্ক্যানিং
   • স্থির-আকারের ব্লক সহ ভার্চুয়াল-মেমরি পেজিং
   • স্ক্রীন রেজোলিউশন স্কেলিং
4. কিভাবে গ্রুপড-কোয়েরি এবং মাল্টি-কোয়েরি মনোযোগ কেভি ক্যাশের আকার কমিয়ে দেয়?
   • মনোযোগ প্রক্রিয়া মুছে ফেলার মাধ্যমে
   • ছবি হিসাবে ক্যাশে সংরক্ষণ করে
   • কম ডেটার উপর প্রশিক্ষণের মাধ্যমে
   • অনেক ক্যোয়ারী হেড কম কী/মান হেড শেয়ার করতে দিয়ে
5. কেভি ক্যাশে উপসর্গ ভাগ করে নেওয়ার একটি সুবিধা কী?
   • একই প্রারম্ভিক প্রম্পট সহ অনুরোধগুলি একই ক্যাশে করা ব্লকগুলি পুনরায় ব্যবহার করতে পারে
   • এটি মডেলটিকে এনক্রিপ্ট করে
   • এটি সমানভাবে প্রতিটি অনুরোধকে ধীর করে দেয়
   • এটি মনোযোগের প্রয়োজনীয়তা দূর করে
6. Compared with storing the same KV entries in 16-bit, what does 8-bit storage do to raw cache-value bytes?
   • It doubles the raw bytes
   • It roughly halves the raw bytes, before metadata and other runtime memory
   • It removes the key and value tensors entirely
   • It guarantees twice the inference speed
7. With full-context attention, no prefix sharing, and a fixed model and cache dtype, what happens if sequence length and batch size both double?
   • It stays constant because model weights are fixed
   • It roughly doubles
   • Raw KV storage grows to roughly four times its previous size
   • It becomes one quarter as large
8. What must generally match for two requests to reuse the same cached prefix blocks?
   • Only the user account name
   • The requests must have different model weights
   • The prompts must have the same character count but different tokens
   • Their tokenized prefix and relevant model/cache configuration must be compatible