تدفق المضاربة والتنبؤ بالرموز المتعددة

يعمل التدفق التأملي والتنبؤ متعدد الرموز على تسريع عملية إنشاء نموذج اللغة عن طريق تخمين العديد من الرموز المستقبلية في وقت واحد والتحقق منها في مسار واحد، بدلاً من إنتاج رمز مميز واحد في كل مرة. لقد قاموا بقطع زمن الوصول دون تغيير النص الذي كان النموذج سيكتبه.

يحتاج كل رمز مميز إلى تمرير أمامي خاص به، وتكون متسلسلة بشكل صارم، وبالتالي فإن وحدة معالجة الرسومات مرتبطة بعرض النطاق الترددي للذاكرة ولا يتم استغلالها بشكل كافٍ أثناء فك التشفير.

يقترح مُحرر رخيص مجموعة كبيرة من الرموز المميزة التي يتحقق منها النموذج المستهدف الكبير بالتوازي.

يضمن التحقق (المطابقة الجشعة أو أخذ عينات الرفض) أن تتبع الرموز المميزة المقبولة التوزيع الدقيق الذي كان من الممكن أن ينتجه النموذج المستهدف، لذلك لا يتغير الإخراج.

تُدمج الأساليب على طراز ميدوسا الصياغة في النموذج برؤوس تنبؤ إضافية، مما يتجنب الحاجة إلى استضافة مسودة نموذج منفصلة.

أثناء فك التشفير، يؤدي عنق الزجاجة إلى نقل الأوزان من الذاكرة، لذا فإن تسجيل مواضع إضافية في نفس المسار يضيف تكلفة حسابية قليلة.