अलग-अलग प्रीफ़िल और डिकोड सर्विंग क्विज़

जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।

1. विभिन्न जीपीयू पूलों पर प्रीफिल और डीकोड को अलग करने का मुख्य हार्डवेयर कारण क्या है?
   • प्रीफ़िल कंप्यूट-बाउंड है जबकि डिकोड मेमोरी-बैंडविड्थ-बाउंड है
   • वे विभिन्न प्रोग्रामिंग भाषाओं का उपयोग करते हैं
   • डिकोड के लिए प्रीफिल की तुलना में अधिक बिजली की आवश्यकता होती है
   • प्रीफ़िल GPU पर बिल्कुल नहीं चल सकता
2. प्रीफिल वर्कर्स से डिकोड वर्कर्स में कौन सी डेटा संरचना स्थानांतरित की जानी चाहिए?
   • मॉडल का वजन
   • केवी (कुंजी-मूल्य) कैश
   • टोकनाइज़र शब्दावली
   • अनुकूलक अवस्था
3. साझा-जीपीयू सेटअप में पृथक्करण विशेष रूप से कौन सी समस्या को कम करता है?
   • GPU ड्राइवर क्रैश हो गया
   • इंटरनेट पर नेटवर्क पैकेट हानि
   • हेड-ऑफ़-लाइन ब्लॉकिंग जहां एक लंबी प्रीफ़िल दूसरों के डिकोड को रोक देती है
   • मॉडल मतिभ्रम
4. प्रीफ़िल को आक्रामक तरीके से क्यों बैच किया जा सकता है लेकिन अलग-अलग ट्यूनिंग से डिकोड का लाभ मिलता है?
   • डिकोड कभी भी GPU का उपयोग नहीं करता है
   • प्रीफ़िल प्रतिदिन केवल एक बार चलता है
   • प्रीफ़िल के दौरान बैचिंग असंभव है
   • प्रीफ़िल टोकन समानांतर में पढ़े जाते हैं, जिससे प्रति पास अधिकतम गणना उपयोग होता है
5. अलग-अलग पूलों के बीच केवी कैश को स्थानांतरित करने के लिए आमतौर पर कौन से इंटरकनेक्ट का उपयोग किया जाता है?
   • एनवीलिंक या इनफिनीबैंड
   • डायल-अप मोडेम
   • यूएसबी 2.0 केबल
   • ब्लूटूथ
6. कौन से नामित सिस्टम अलग-अलग प्रीफ़िल/डीकोड सर्विंग से जुड़े हैं?
   • टीसीपी, यूडीपी, और HTTP
   • डिस्टसर्व, स्प्लिटवाइज और मूनकेक
   • वर्ड, एक्सेल और पॉवरपॉइंट
   • जेपीईजी, पीएनजी और जीआईएफ
7. Why must the KV cache produced during prefill be available to the decode workers?
   • It contains the model’s optimizer state
   • It stores the user’s GPU allocation
   • Decode uses cached prompt keys and values to generate subsequent tokens without recomputing the whole prompt
   • It is needed only to calculate validation accuracy
8. What is a resource-allocation benefit of separating prefill and decode pools?
   • Both phases must use identical batch sizes
   • The model no longer needs a KV cache
   • The scheduler can eliminate all network communication
   • Each phase can be sized and parallelized for its own compute or memory bottleneck