कोड मॉडल के लिए सट्टा संपादन

It matters because it can cut latency for large rewrites by an order of magnitude in coding tools.

जब कोई AI किसी फ़ाइल को संपादित करता है, तो उसके द्वारा आउटपुट किए जाने वाले अधिकांश टोकन आमतौर पर मूल कोड के समान होते हैं; वास्तव में केवल कुछ पंक्तियाँ ही बदलती हैं। Naive जनरेशन पूरी फ़ाइल को टोकन दर टोकन पुनः उत्सर्जित करता है, जो बड़ी फ़ाइलों के लिए धीमा है। सट्टा संपादन अपरिवर्तित संरचना का फायदा उठाते हैं: मौजूदा स्रोत मॉडल जो आउटपुट देगा उसके उच्च गुणवत्ता वाले 'ड्राफ्ट' के रूप में कार्य करता है। सिस्टम मूल कोड के कुछ हिस्सों को अनुमानित अनुमान के रूप में फीड करता है और मॉडल को एक ही फॉरवर्ड पास में उनमें से कई को सत्यापित करने देता है। जहां मॉडल सहमत होता है, वे टोकन तुरंत स्वीकार कर लिए जाते हैं; जहां यह असहमत है, यह सामान्य रूप से सही अवधि उत्पन्न करता है। यह सट्टा डिकोडिंग का एक कोड-विशेषीकृत चचेरा भाई है, लेकिन एक अलग छोटे ड्राफ्ट मॉडल के बजाय, ड्राफ्ट अनिवार्य रूप से संपादित की जा रही फ़ाइल से मुफ्त में आता है, जिससे संपादन-भारी कार्यों पर बड़ी गति मिलती है।