अलग-अलग प्रीफ़िल और डिकोड सर्विंग

एक सर्विंग आर्किटेक्चर जो बड़े भाषा मॉडल अनुमान को दो अलग-अलग चरणों में विभाजित करता है - प्रीफ़िल और डीकोड - और उन्हें जीपीयू के विभिन्न पूलों पर चलाता है। यह मायने रखता है क्योंकि इन दो चरणों में विपरीत हार्डवेयर भूख होती है, और उन्हें एक ही मशीन पर मजबूर करने से क्षमता बर्बाद होती है और विलंबता को नुकसान पहुंचता है।

प्रीफ़िल पूरे प्रॉम्प्ट को समानांतर में संसाधित करता है और गणना को संतृप्त करता है, जबकि डीकोड प्रत्येक चरण में केवी कैश को पढ़ता है और मेमोरी बैंडविड्थ द्वारा सीमित होता है - विपरीत भूख जो अलग, स्वतंत्र रूप से ट्यून किए गए पूल को उचित ठहराती है।

प्रीफ़िल प्रॉम्प्ट के लिए KV कैश बनाता है; डिकोड को जनरेट करना जारी रखने के लिए उस कैश की आवश्यकता होती है, इसलिए कैश को डिकोड पूल में तेज़ इंटरकनेक्ट पर भेज दिया जाता है।

साझा जीपीयू पर एक लंबा प्रीफ़िल बर्स्ट चल रहे डिकोड चरणों को अवरुद्ध कर सकता है; उन्हें अलग करने से हस्तक्षेप रुक जाता है और टेल विलंबता स्थिर हो जाती है।

प्रीफ़िल सभी प्रॉम्प्ट टोकन को एक साथ प्रोसेस करता है, इसलिए बड़े बैच टेंसर कोर को अच्छी तरह से फीड करते हैं; डिकोड एक समय में एक टोकन उत्पन्न करता है और मेमोरी द्वारा गेट किया जाता है, इसलिए इसका पैमाना अलग-अलग होता है।

उच्च-बैंडविड्थ, कम-विलंबता लिंक जैसे एनवीलिंक (इंट्रा-नोड) और इनफिनीबैंड (इंटर-नोड) की आवश्यकता है ताकि केवी-कैश ट्रांसफर नई बाधा न बने।