गाइड से जुड़ी प्रश्नोत्तरी · मध्यम स्तर

केवी कैश अनुकूलन प्रश्नोत्तरी

केवी-कैश वृद्धि, पृष्ठांकित आवंटन, समूहीकृत क्वेरी साझाकरण, उपसर्ग पुन: उपयोग की स्थिति, परिमाणीकरण और संदर्भ और समवर्तीता के साथ मेमोरी स्केलिंग की जाँच करता है।

संबंधित मार्गदर्शक पथकेवी कैश अनुकूलन

प्रश्न 1 का 8

KV कैश क्या संग्रहीत करता है और क्यों?

प्रत्येक प्रश्न का पूर्वावलोकन करें8 प्रश्न

जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।

KV कैश क्या संग्रहीत करता है और क्यों?
- पहले से ध्यान कुंजियाँ और मानों की गणना की गई ताकि प्रत्येक चरण में उनकी पुनः गणना न हो
- पुनर्प्रशिक्षण के लिए मॉडल का प्रशिक्षण डेटा
- प्रमाणीकरण के लिए उपयोगकर्ता पासवर्ड
- केवल अंतिम पाठ आउटपुट
केवी कैश मेमोरी समस्या क्यों बन सकता है?
- यह GPU को स्थायी रूप से दूषित कर देता है
- यह अनुक्रम लंबाई, बैच आकार और परतों के साथ बढ़ता है, कभी-कभी मॉडल वजन से अधिक होता है
- यह केवल 10 शब्दों से छोटे टेक्स्ट पर काम करता है
- यह ऑपरेटिंग सिस्टम की नकल करता है
पेजेडअटेंशन किस ऑपरेटिंग-सिस्टम अवधारणा को उधार लेता है?
- डिस्क डीफ़्रेग्मेंटेशन उपयोगिताएँ
- एंटीवायरस स्कैनिंग
- निश्चित आकार के ब्लॉक के साथ वर्चुअल-मेमोरी पेजिंग
- स्क्रीन रिज़ॉल्यूशन स्केलिंग
ग्रुप्ड-क्वेरी और मल्टी-क्वेरी अटेंशन केवी कैश आकार को कैसे कम करते हैं?
- ध्यान तंत्र को हटाकर
- कैश को छवियों के रूप में संग्रहीत करके
- कम डेटा पर प्रशिक्षण द्वारा
- कई क्वेरी प्रमुखों को कम कुंजी/मूल्य शीर्ष साझा करने की अनुमति देकर
KV कैश में उपसर्ग साझाकरण का एक लाभ क्या है?
- समान प्रारंभिक संकेत वाले अनुरोध समान कैश्ड ब्लॉक का पुन: उपयोग कर सकते हैं
- यह मॉडल को एन्क्रिप्ट करता है
- यह हर अनुरोध को समान रूप से धीमा कर देता है
- यह ध्यान देने की आवश्यकता को दूर करता है
Compared with storing the same KV entries in 16-bit, what does 8-bit storage do to raw cache-value bytes?
- It doubles the raw bytes
- It roughly halves the raw bytes, before metadata and other runtime memory
- It removes the key and value tensors entirely
- It guarantees twice the inference speed
With full-context attention, no prefix sharing, and a fixed model and cache dtype, what happens if sequence length and batch size both double?
- It stays constant because model weights are fixed
- It roughly doubles
- Raw KV storage grows to roughly four times its previous size
- It becomes one quarter as large
What must generally match for two requests to reuse the same cached prefix blocks?
- Only the user account name
- The requests must have different model weights
- The prompts must have the same character count but different tokens
- Their tokenized prefix and relevant model/cache configuration must be compatible