গাইড লিঙ্ক ক্যুইজ · মাঝারি স্তর
কেভি ক্যাশে কুইজ
অটোরিগ্রেসিভ ডিকোডিং, মেমরির চাপ, মাল্টি-রিকোয়েস্ট শেয়ারিং এবং পেজড অ্যালোকেশন ট্রেডঅফের সময় কেভি-ক্যাশে পুনঃব্যবহারের পর্যালোচনা করুন।
প্রশ্ন 1 এর 8
কেভি ক্যাশে কি সঞ্চয় করে?
প্রতিটি প্রশ্নের পূর্বরূপ দেখুন8 প্রশ্ন
আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।
- কেভি ক্যাশে কি সঞ্চয় করে?
- পূর্ববর্তী টোকেনগুলির জন্য গণনা করা কী এবং মান ভেক্টর
- মডেলের সম্পূর্ণ ওজন ম্যাট্রিক্স
- সাধারণ পাঠ্য হিসাবে ব্যবহারকারীর চ্যাট ইতিহাস
- চূড়ান্ত আউটপুট সম্ভাবনা
- কেভি ক্যাশে প্রাথমিকভাবে কোন সমস্যা সমাধান করে?
- এটি উৎপন্ন পাঠ্যের ব্যাকরণ উন্নত করে
- এটি প্রতিটি ধাপে সমস্ত পূর্ববর্তী টোকেনের জন্য কী এবং মানগুলি পুনরায় গণনা করা এড়িয়ে যায়
- এটি মডেলের শব্দভান্ডার বাড়ায়
- এটি কথোপকথন এনক্রিপ্ট করে
- কেভি ক্যাশে প্রধান খারাপ দিক কি?
- এটি প্রজন্মকে ধীর করে তোলে
- এটি আউটপুট গুণমান হ্রাস করে
- এর মেমরি ব্যবহার প্রসঙ্গ দৈর্ঘ্যের সাথে রৈখিকভাবে বৃদ্ধি পায়
- এটি শুধুমাত্র CPU-তে কাজ করে
- কোন কৌশল মনোযোগের মাথা জুড়ে কী এবং মানগুলি ভাগ করে কেভি ক্যাশের আকার হ্রাস করে?
- ড্রপআউট
- মরীচি অনুসন্ধান
- টোকেনাইজেশন
- দলবদ্ধ-কোয়েরি বা বহু-কোয়েরি মনোযোগ
- KV ক্যাশে আপেক্ষিক ট্রান্সফরমার অনুমানের দুটি পর্যায় কি?
- প্রিফিল (প্রম্পট প্রক্রিয়া করুন) এবং ডিকোড (এক সময়ে একটি টোকেন তৈরি করুন)
- প্রশিক্ষণ এবং পরীক্ষা
- এনকোড এবং কম্প্রেস
- আপলোড এবং ডাউনলোড করুন
- VLLM-এর PagedAttention KV ক্যাশের জন্য কী করে?
- প্রতিটি টোকেনের পরে ক্যাশে মুছে দেয়
- মেমরি ফ্র্যাগমেন্টেশন কমাতে অ-সংলগ্ন ব্লকে ক্যাশে বরাদ্দ করে
- ক্যাশেকে টেক্সটে রূপান্তর করে
- মডেলের প্যারামিটার সংখ্যা দ্বিগুণ করে
- Why can KV-cache memory limit how many requests a GPU serves concurrently?
- The cache stores all training examples on the GPU
- Each request creates a new model copy
- Each active sequence retains key and value tensors that grow with its generated context
- The cache stores only final text on disk
- What is one benefit of sharing KV-cache blocks among requests with a common prefix?
- It makes unrelated prefixes identical
- It removes the need to compute attention
- It guarantees lower latency in every workload
- It can avoid storing duplicate prefix state and reduce memory use