सट्टा नमूनाकरण सत्यापन

The clever verification step guarantees the output matches what the big model would have produced on its own.

ऑटोरेग्रेसिव पीढ़ी धीमी है क्योंकि प्रत्येक टोकन को एक विशाल मॉडल के पूर्ण फॉरवर्ड पास की आवश्यकता होती है। सट्टा नमूनाकरण एक सस्ते ड्राफ्ट मॉडल को महंगे लक्ष्य मॉडल के साथ जोड़कर इसे ठीक करता है। मसौदे में टोकन की एक छोटी अवधि (जैसे 4-8) का प्रस्ताव है; फिर लक्ष्य उन सभी को एक समानांतर फॉरवर्ड पास में स्कोर करता है। एक संशोधित अस्वीकृति-नमूना नियम सबसे लंबे उपसर्ग को स्वीकार करता है जो लक्ष्य के स्वयं के वितरण और पहले अस्वीकृत स्थिति में पुन: नमूने के अनुरूप होता है। क्योंकि स्वीकृति संभाव्य और सही है, अंतिम टोकन स्ट्रीम को बिल्कुल वैसे ही वितरित किया जाता है जैसे कि लक्ष्य अकेले उत्पन्न हुआ था, कोई गुणवत्ता हानि नहीं हुई। जब ड्राफ्ट तेज़ और अच्छी तरह से संरेखित होता है तो सामान्य स्पीडअप 2-3x होता है, क्योंकि प्रति महंगी कॉल के लिए कई टोकन की पुष्टि की जाती है।