केवी कैश प्रश्नोत्तरी

जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।

1. KV कैश क्या संग्रहित करता है?
   • पिछले टोकन के लिए कुंजी और मान वेक्टर की गणना की गई
   • मॉडल का पूर्ण वजन मैट्रिसेस
   • उपयोगकर्ता का चैट इतिहास सादे पाठ के रूप में
   • अंतिम आउटपुट संभावनाएँ
2. केवी कैश मुख्य रूप से किस समस्या का समाधान करता है?
   • यह उत्पन्न पाठ के व्याकरण में सुधार करता है
   • यह हर चरण पर सभी पूर्व टोकन के लिए कुंजियों और मानों की पुन: गणना करने से बचता है
   • यह मॉडल की शब्दावली को बढ़ाता है
   • यह बातचीत को एन्क्रिप्ट करता है
3. KV कैश का मुख्य नकारात्मक पहलू क्या है?
   • यह पीढ़ी को धीमा कर देता है
   • यह आउटपुट गुणवत्ता को कम कर देता है
   • इसका मेमोरी उपयोग संदर्भ लंबाई के साथ रैखिक रूप से बढ़ता है
   • यह केवल सीपीयू पर काम करता है
4. कौन सी तकनीक ध्यान प्रमुखों में कुंजी और मान साझा करके केवी कैश आकार को कम करती है?
   • ड्रॉपआउट
   • किरण खोज
   • टोकनीकरण
   • समूहीकृत-क्वेरी या बहु-क्वेरी ध्यान
5. केवी कैश के सापेक्ष ट्रांसफार्मर अनुमान के दो चरण क्या हैं?
   • प्रीफ़िल (प्रॉम्प्ट को प्रोसेस करें) और डीकोड (एक समय में एक टोकन जेनरेट करें)
   • प्रशिक्षण एवं परीक्षण
   • एनकोड करें और संपीड़ित करें
   • अपलोड करें और डाउनलोड करें
6. वीएलएलएम का पेजेडअटेंशन केवी कैश के लिए क्या करता है?
   • प्रत्येक टोकन के बाद कैश हटाता है
   • मेमोरी फ़्रेग्मेंटेशन को कम करने के लिए कैश को गैर-सन्निहित ब्लॉकों में आवंटित करता है
   • कैश को टेक्स्ट में परिवर्तित करता है
   • मॉडल की पैरामीटर संख्या दोगुनी हो जाती है
7. Why can KV-cache memory limit how many requests a GPU serves concurrently?
   • The cache stores all training examples on the GPU
   • Each request creates a new model copy
   • Each active sequence retains key and value tensors that grow with its generated context
   • The cache stores only final text on disk
8. What is one benefit of sharing KV-cache blocks among requests with a common prefix?
   • It makes unrelated prefixes identical
   • It removes the need to compute attention
   • It guarantees lower latency in every workload
   • It can avoid storing duplicate prefix state and reduce memory use