اختبار مرتبط بالدليل · صعب المستوى
البث المضاربي واختبار التنبؤ متعدد الرموز
التحقق من مسودات المقترحات، والتحقق من الهدف، والبادئات المقبولة، والرؤوس متعددة الرموز، ولماذا يؤثر معدل القبول على سرعة فك التشفير.
سؤال 1 من 8
لماذا غالبًا ما يكون فك تشفير الانحدار التلقائي القياسي بطيئًا على وحدة معالجة الرسومات؟
معاينة كل سؤال8 أسئلة
تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.
- لماذا غالبًا ما يكون فك تشفير الانحدار التلقائي القياسي بطيئًا على وحدة معالجة الرسومات؟
- يتم إنتاج الرموز واحدة تلو الأخرى، مما يترك وحدة معالجة الرسومات غير مستخدمة بشكل كافٍ في كل خطوة
- نفاد ذاكرة وحدة معالجة الرسومات على الفور
- يجب إعادة التدريب على كل رمز مميز
- المفردات صغيرة جدًا
- ماذا يفعل "الصياغة" في فك التشفير التأملي؟
- ويكتب الجواب النهائي وحده
- يقترح العديد من الرموز المستقبلية المرشحة بسعر رخيص
- يقوم بحذف الرموز ذات الاحتمالية المنخفضة
- يقوم بضغط أوزان النموذج
- كيف يتم الحفاظ على جودة الإخراج في فك التشفير التخميني؟
- عن طريق تقريب الاحتمالات إلى الصفر
- باستخدام مفردات أكبر
- من خلال التحقق الذي يقبل فقط الرموز المميزة المطابقة للتوزيع المستهدف
- عن طريق تخطي التحقق تماما
- ما الذي يميز التنبؤ متعدد الرموز على طراز ميدوسا عن فك التشفير التأملي الكلاسيكي؟
- يتطلب نموذجين كبيرين منفصلين
- إنه يعمل فقط لتوليد الصور
- إنه يلغي الحاجة إلى أي تمريرة للأمام
- إنها تضيف رؤوس تنبؤ خفيفة الوزن بحيث يقوم نموذج واحد بالصياغة والتحقق
- لماذا يمكن للمحول التحقق من العديد من المواضع المرشحة بتكلفة زهيدة تقريبًا مثل تلك الموجودة أثناء فك التشفير؟
- لأن فك التشفير مرتبط بعرض النطاق الترددي للذاكرة، وليس مرتبطًا بالحساب
- لأنه يخزن الإنترنت بالكامل
- لأن التحقق يتخطى طبقات الاهتمام
- لأن سرعة ساعة GPU تتضاعف
- ما الذي يحدد في المقام الأول تسريع أساليب المضاربة أو الرموز المتعددة؟
- لون وحدة معالجة الرسومات
- متوسط عدد الرموز المقبولة في كل خطوة
- طول اسم النموذج
- حجم القرص
- A draft proposes tokens A, B and C, but target verification first disagrees at B. Which proposal prefix can be accepted?
- A, B and C
- B and C only
- A, the matching prefix before the first mismatch
- None, even if A matches
- Why can speculative decoding preserve the target model’s output distribution?
- The drafter is guaranteed to be identical to the target
- The target model is never run
- All proposed tokens are accepted unconditionally
- A verification and correction rule accepts or rejects draft tokens according to the target distribution