গাইড লিঙ্ক ক্যুইজ · মাঝারি স্তর

কেভি ক্যাশে কুইজ

অটোরিগ্রেসিভ ডিকোডিং, মেমরির চাপ, মাল্টি-রিকোয়েস্ট শেয়ারিং এবং পেজড অ্যালোকেশন ট্রেডঅফের সময় কেভি-ক্যাশে পুনঃব্যবহারের পর্যালোচনা করুন।

সম্পর্কিত গাইড পাথকেভি ক্যাশে
প্রশ্ন 1 এর 8

কেভি ক্যাশে কি সঞ্চয় করে?

প্রতিটি প্রশ্নের পূর্বরূপ দেখুন8 প্রশ্ন

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

  1. কেভি ক্যাশে কি সঞ্চয় করে?
    • পূর্ববর্তী টোকেনগুলির জন্য গণনা করা কী এবং মান ভেক্টর
    • মডেলের সম্পূর্ণ ওজন ম্যাট্রিক্স
    • সাধারণ পাঠ্য হিসাবে ব্যবহারকারীর চ্যাট ইতিহাস
    • চূড়ান্ত আউটপুট সম্ভাবনা
  2. কেভি ক্যাশে প্রাথমিকভাবে কোন সমস্যা সমাধান করে?
    • এটি উৎপন্ন পাঠ্যের ব্যাকরণ উন্নত করে
    • এটি প্রতিটি ধাপে সমস্ত পূর্ববর্তী টোকেনের জন্য কী এবং মানগুলি পুনরায় গণনা করা এড়িয়ে যায়
    • এটি মডেলের শব্দভান্ডার বাড়ায়
    • এটি কথোপকথন এনক্রিপ্ট করে
  3. কেভি ক্যাশে প্রধান খারাপ দিক কি?
    • এটি প্রজন্মকে ধীর করে তোলে
    • এটি আউটপুট গুণমান হ্রাস করে
    • এর মেমরি ব্যবহার প্রসঙ্গ দৈর্ঘ্যের সাথে রৈখিকভাবে বৃদ্ধি পায়
    • এটি শুধুমাত্র CPU-তে কাজ করে
  4. কোন কৌশল মনোযোগের মাথা জুড়ে কী এবং মানগুলি ভাগ করে কেভি ক্যাশের আকার হ্রাস করে?
    • ড্রপআউট
    • মরীচি অনুসন্ধান
    • টোকেনাইজেশন
    • দলবদ্ধ-কোয়েরি বা বহু-কোয়েরি মনোযোগ
  5. KV ক্যাশে আপেক্ষিক ট্রান্সফরমার অনুমানের দুটি পর্যায় কি?
    • প্রিফিল (প্রম্পট প্রক্রিয়া করুন) এবং ডিকোড (এক সময়ে একটি টোকেন তৈরি করুন)
    • প্রশিক্ষণ এবং পরীক্ষা
    • এনকোড এবং কম্প্রেস
    • আপলোড এবং ডাউনলোড করুন
  6. VLLM-এর PagedAttention KV ক্যাশের জন্য কী করে?
    • প্রতিটি টোকেনের পরে ক্যাশে মুছে দেয়
    • মেমরি ফ্র্যাগমেন্টেশন কমাতে অ-সংলগ্ন ব্লকে ক্যাশে বরাদ্দ করে
    • ক্যাশেকে টেক্সটে রূপান্তর করে
    • মডেলের প্যারামিটার সংখ্যা দ্বিগুণ করে
  7. Why can KV-cache memory limit how many requests a GPU serves concurrently?
    • The cache stores all training examples on the GPU
    • Each request creates a new model copy
    • Each active sequence retains key and value tensors that grow with its generated context
    • The cache stores only final text on disk
  8. What is one benefit of sharing KV-cache blocks among requests with a common prefix?
    • It makes unrelated prefixes identical
    • It removes the need to compute attention
    • It guarantees lower latency in every workload
    • It can avoid storing duplicate prefix state and reduce memory use