सतत बैचिंग

It keeps the GPU constantly busy and sharply increases how many users an AI model can serve at once.

जब वे एक बैच में कई अनुरोधों को एक साथ संसाधित करते हैं तो GPU सबसे तेज़ होते हैं। अनुभवहीन दृष्टिकोण, स्थैतिक बैचिंग, अनुरोधों के एक निश्चित समूह को समूहित करता है, उन सभी को पूरा होने तक चलाता है, फिर अगला बैच शुरू करता है। समस्या: भाषा मॉडल आउटपुट लंबाई में बेतहाशा भिन्न होते हैं, इसलिए छोटे अनुरोध जल्दी समाप्त हो जाते हैं और उनके स्लॉट निष्क्रिय रहते हैं जबकि बैच सबसे लंबे समय तक इंतजार करता है, जीपीयू चक्र बर्बाद करता है और नए आगमन में देरी करता है। निरंतर बैचिंग (जिसे इन-फ़्लाइट या पुनरावृत्ति-स्तरीय बैचिंग भी कहा जाता है, जिसे ओर्का पेपर द्वारा लोकप्रिय बनाया गया है और वीएलएलएम, टेन्सोरआरटी-एलएलएम और टीजीआई में उपयोग किया जाता है) एकल डिकोडिंग चरण की ग्रैन्युलैरिटी पर काम करता है। प्रत्येक टोकन उत्पन्न होने के बाद, समाप्त अनुक्रम बैच से बाहर निकल जाते हैं और नए आए अनुरोधों को तुरंत स्लॉट कर दिया जाता है। इससे बैच भरा रहता है और GPU संतृप्त रहता है, जिससे अक्सर प्रतीक्षा करने वाले उपयोगकर्ताओं के लिए कम विलंबता के साथ थ्रूपुट कई गुना बढ़ जाता है।