एलएलएम अनुमान रूटिंग और लोड संतुलन प्रश्नोत्तरी

जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।

1. एलएलएम अनुमान के लिए सादा राउंड-रॉबिन अक्सर एक खराब लोड-संतुलन रणनीति क्यों है?
   • अनुरोधों की लागत में बहुत भिन्नता होती है और प्रतिकृतियां चिपचिपी केवी कैश रखती हैं
   • अधिकांश देशों में यह अवैध है
   • राउंड-रॉबिन केवल डेटाबेस के लिए काम करता है
   • इसे चलाने के लिए GPU की आवश्यकता होती है
2. 'प्रीफ़िक्स-कैश एफ़िनिटी' रूटिंग क्या हासिल करने की कोशिश कर रही है?
   • प्रत्येक अनुरोध को एक यादृच्छिक GPU पर भेजना
   • उस प्रतिकृति के लिए अनुरोध को रूट करना जिसने पहले से ही इसके प्रॉम्प्ट उपसर्ग को कैश कर दिया है
   • भेजने से पहले संकेत को एन्क्रिप्ट करना
   • मॉडल वज़न को संपीड़ित करना
3. कठिनाई-आधारित मॉडल रूटिंग में, आमतौर पर एक आसान प्रश्न का क्या होता है?
   • इसे खारिज कर दिया गया है
   • इसे उपलब्ध सबसे बड़े मॉडल पर भेजा जाता है
   • इसे छोटे, सस्ते मॉडल में भेजा जाता है
   • यह 24 घंटे कतार में लगा रहता है
4. एलएलएम-अवेयर लोड बैलेंसर के लिए कौन सा लाइव सिग्नल सबसे उपयोगी है?
   • सर्वर की होस्टनाम लंबाई
   • रैक का रंग
   • केवल उपयोगकर्ता का समय क्षेत्र
   • कतार की गहराई और प्रत्येक प्रतिकृति की केवी-कैश अधिभोग
5. मल्टी-प्रोवाइडर सेटअप में लाइटएलएलएम जैसा टूल क्या प्रदान करता है?
   • एक एकल प्रॉक्सी जो कई मॉडल प्रदाताओं के बीच संतुलन बनाती है और विफल हो जाती है
   • एक नया ट्रांसफार्मर वास्तुकला
   • एक GPU शीतलन प्रणाली
   • टोकननाइज़र के लिए एक प्रतिस्थापन
6. संतुलन के लिए एक दीर्घ-आउटपुट अनुरोध कई छोटे अनुरोधों पर भारी क्यों पड़ सकता है?
   • लंबे आउटपुट में किसी संसाधन का उपयोग नहीं होता है
   • प्रत्येक आउटपुट टोकन की लागत एक पूर्ण फॉरवर्ड पास होती है, इसलिए कुल टोकन लोड अनुरोध गणना से अधिक मायने रखता है
   • छोटे अनुरोध हमेशा धीमे होते हैं
   • राउटर आउटपुट लंबाई बिल्कुल नहीं देख सकता
7. A serving system reports goodput rather than raw request count. What does goodput usually emphasize?
   • मॉडल पैरामीटरों की कुल संख्या
   • Only the number of HTTP connections opened
   • Requests served while meeting the specified latency or service-level targets
   • The fraction of requests that use the largest model
8. A gateway first chooses a small or large model, then chooses a replica of that model. What are these two decisions?
   • Tokenization followed by decoding
   • Training followed by fine-tuning
   • Prefill followed by prompt construction
   • Model routing followed by replica load balancing