सट्टा स्ट्रीमिंग और मल्टी-टोकन भविष्यवाणी

सट्टा स्ट्रीमिंग और मल्टी-टोकन भविष्यवाणी एक समय में एक टोकन का उत्पादन करने के बजाय, एक ही बार में कई भविष्य के टोकन का अनुमान लगाकर और उन्हें एक ही पास में सत्यापित करके भाषा मॉडल निर्माण को गति देती है। उन्होंने मॉडल द्वारा लिखे गए पाठ को बदले बिना विलंबता में कटौती की।

प्रत्येक टोकन को अपने स्वयं के फॉरवर्ड पास की आवश्यकता होती है और वे कड़ाई से अनुक्रमिक होते हैं, इसलिए जीपीयू मेमोरी-बैंडविड्थ से बंधा होता है और डिकोडिंग के दौरान कम उपयोग किया जाता है।

एक सस्ता ड्राफ्टर उम्मीदवार टोकन का एक हिस्सा प्रस्तावित करता है जिसे बड़ा लक्ष्य मॉडल समानांतर में सत्यापित करता है।

सत्यापन (लालची मिलान या अस्वीकृति नमूनाकरण) यह सुनिश्चित करता है कि स्वीकृत टोकन उसी सटीक वितरण का पालन करते हैं जो लक्ष्य मॉडल ने उत्पादित किया होगा, इसलिए आउटपुट अपरिवर्तित है।

मेडुसा-शैली के तरीके ड्राफ्टिंग को अतिरिक्त भविष्यवाणी प्रमुखों के साथ मॉडल में बदल देते हैं, जिससे एक अलग ड्राफ्ट मॉडल की मेजबानी की आवश्यकता से बचा जा सकता है।

डिकोडिंग के दौरान बाधा स्मृति से वजन ले जा रही है, इसलिए एक ही पास में अतिरिक्त स्थिति स्कोर करने से गणना लागत कम हो जाती है।