فك التشفير التأملي باستخدام اختبار EAGLE

تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.

1. ما هي الفكرة الأساسية وراء فك التشفير التخميني؟
   • يقترح مصمم رخيص عدة رموز مميزة يتحقق منها النموذج الكبير في مسار متوازي واحد
   • ضغط أوزان النموذج إلى نصف الدقة
   • تخطي طبقات الشبكة بشكل عشوائي
   • التخزين المؤقت لكل جملة الإخراج المحتملة مقدما
2. كيف يختلف EAGLE عن أساليب فك التشفير التأملية السابقة؟
   • إنه يزيل خطوة التحقق بالكامل
   • يتم رسمه في مساحة الميزات المخفية للنموذج بدلاً من وضعه مباشرة على مستوى الرمز المميز
   • يستخدم نموذجًا منفصلاً تمامًا وأكبر مثل المُصمم
   • إنه يعمل فقط لتوليد الصور
3. Why is speculative decoding considered lossless when implemented with exact verification?
   • Every draft token is accepted unconditionally
   • The drafter always predicts the target’s next token
   • The acceptance and correction procedure preserves the target model’s output distribution
   • The target model is never evaluated
4. ما هي المشكلة في صياغة ميزات EAGLE التي تساعد في حلها عملية تضمين الرمز المميز السابق؟
   • تجزئة الذاكرة على GPU
   • عدم تطابق Tokenizer بين اللغات
   • ارتفاع درجة حرارة الأجهزة
   • عدم اليقين/الغموض في التنبؤ بالميزة التالية
5. ما الذي أضافه EAGLE-2 على EAGLE الأصلي؟
   • شجرة مسودة ديناميكية تتكيف مع عدد المرشحين الذين سيتم اقتراحهم
   • مسودة ثابتة ذات رمز واحد
   • إزالة رأس LM
   • التدريب على ضعف البيانات فقط
6. لماذا يجعل عنق الزجاجة الانحداري الذاتي عملية توليد LLM بطيئة؟
   • يعيد النموذج تدريب نفسه بعد كل رمز مميز
   • يحتاج كل رمز مميز جديد إلى تمرير أمامي كامل عبر مليارات المعلمات قبل أن يبدأ الرمز التالي
   • يتم تخزين الرموز المميزة على القرص بين الخطوات
   • يجب إعادة تشغيل وحدة معالجة الرسومات لكل رمز مميز
7. After EAGLE predicts a hidden-state feature, which component turns that feature into candidate token probabilities?
   • The tokenizer’s vocabulary file alone
   • The optimizer’s momentum buffer
   • The target model’s language-model head
   • The KV-cache allocator
8. What change does EAGLE-3 make to the original feature-drafting constraint?
   • It replaces the target model with a tokenizer
   • It disables target verification
   • It requires a separate human drafter
   • It removes a feature-prediction constraint to improve scaling