فك التشفير التخميني باستخدام EAGLE
يعمل فك التشفير التأملي على تسريع استنتاج نموذج اللغة الكبير من خلال السماح لنموذج مسودة صغير بتخمين العديد من الرموز المميزة للأمام، والتي يتحقق منها النموذج الكبير بعد ذلك في تمريرة واحدة.
نظرة عامة
EAGLE is a state-of-the-art version that drafts at the feature level rather than the token level, delivering 2-4x speedups with zero loss in output quality.
الغوص العميق
يعد إنشاء LLM العادي بمثابة انحدار ذاتي: حيث ينتج النموذج رمزًا مميزًا واحدًا، ويغذيه مرة أخرى، ويتكرر، لذلك يتطلب كل رمز تمريرًا أماميًا كاملاً عبر مليارات المعلمات. فك التشفير التأملي يكسر عنق الزجاجة هذا. يقترح محرر رخيص مجموعة كبيرة من الرموز المميزة، ويتحقق النموذج المستهدف باهظ الثمن من كل منهم في مسار متوازي واحد، ويقبل البادئة الصحيحة الأطول. تعمل EAGLE (خوارزمية الاستقراء لزيادة كفاءة نموذج اللغة) على تحسين الأساليب السابقة من خلال الصياغة في مساحة الميزات المخفية للنموذج وتغذية التضمين الحقيقي للرمز المميز السابق لتقليل عدم اليقين. يضيف EAGLE-2 شجرة مسودة ديناميكية، ويسقط EAGLE-3 قيد توقع الميزات لتحسين القياس. والأهم من ذلك، أن التحقق يضمن أن المخرجات مطابقة لما كان سينتجه النموذج المستهدف بمفرده.
البصيرة الفنية
يقوم EAGLE بتدريب رأس انحدار ذاتي صغير يتنبأ بميزة الحالة المخفية التالية للنموذج المستهدف، ثم يعيد استخدام رأس LM الخاص بالهدف لتحويل الميزات إلى مرشحين رمزيين. من خلال التكييف على تسلسل الرمز المميز المتغير بالإضافة إلى الميزات السابقة، فإنه يزيل الغموض الذي ابتليت به صياغة الميزات فقط. يتم التحقق من شجرة المرشحين مرة واحدة؛ يتم الحفاظ على توزيع النموذج المستهدف تمامًا لأن الرموز المميزة المقبولة يجب أن تتطابق مع اختيار العينة أو argmax، مما يجعل التسريع بلا فقدان.
التأثير الاستراتيجي
التكلفة والميزانية
تؤدي قرارات الهندسة المعمارية إلى زيادة الأداء وتكلفة التشغيل لسنوات.
قرارات أوضح
يساعد التعليم الفني الفرق على اختيار المجموعة المناسبة، وليس فقط المجموعة الأحدث.
مراقبة الجودة
تعمل الخيارات الهندسية الأفضل على تقليل حوادث الموثوقية في الإنتاج.
مستقبل فك التشفير التخميني مع EAGLE
أصبح فك التشفير التخميني بمثابة البنية التحتية الافتراضية في خدمة الأكوام مثل vLLM وTensorRT-LLM. توقع تكاملًا أكثر إحكامًا مع التجميع ومشاركة ذاكرة التخزين المؤقت KV، ونماذج الصياغة الذاتية التي لا تحتاج إلى محرر منفصل، والتصميم المشترك للأجهزة الذي يفترض التحقق المتوازي. يتم توسيع صياغة الميزات بأسلوب EAGLE لتشمل نماذج الوسائط المتعددة والنماذج المنطقية، حيث تجعل سلاسل التفكير الطويلة تكاليف كل رمز مميز مؤلمة بشكل خاص، وإلى الاستدلال على الجهاز حيث يكون زمن الاستجابة أكثر أهمية.
التنفيذ في العالم الحقيقي
تقليل زمن الاستجابة في مساعدي الدردشة بحيث يتم بث الاستجابات بشكل أسرع بمقدار 2-3 مرات دون تغيير إجابات النموذج
تقليل تكاليف خدمة GPU لموفري واجهة برمجة التطبيقات ذات الحجم الكبير من خلال إنشاء المزيد من الرموز المميزة لكل تمريرة للأمام
تسريع نماذج التفكير المتسلسلة الطويلة حيث يتم إنتاج آلاف الرموز المميزة لكل استعلام
تسريع أدوات إكمال التعليمات البرمجية حيث تؤدي تسلسلات الرموز المميزة المتكررة والمتوقعة إلى معدلات قبول عالية للمسودة
المخاطر والدرابزين
يمكن أن يؤدي تحسين معيار واحد إلى إخفاء نقاط ضعف النظام الأوسع.
غالبًا ما يتم التقليل من تكاليف البنية التحتية والصيانة.
يمكن أن تنمو الفجوات الأمنية وقابلية المراقبة عندما تصبح الأنظمة أكثر تعقيدًا.
خارطة طريق التنفيذ
تحديد الكمون والجودة وأهداف التكلفة قبل التنفيذ.
المعيار في ظل ظروف التحميل والبيانات الواقعية.
مراقبة الأدوات للأخطاء والانجراف وتأثير المستخدم.
قم بإعداد مسارات التراجع والاستجابة للحوادث قبل القياس.
استمر في الاستكشاف
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Speculative Decoding with EAGLE quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
الدليل التالي
فك التشفير التخميني
الأسئلة المتداولة
What is Speculative Decoding with EAGLE?
يعمل فك التشفير التأملي على تسريع استنتاج نموذج اللغة الكبير من خلال السماح لنموذج مسودة صغير بتخمين العديد من الرموز المميزة للأمام، والتي يتحقق منها النموذج الكبير بعد ذلك في تمريرة واحدة. EAGLE هو إصدار متطور يتم صياغته على مستوى الميزات بدلاً من مستوى الرمز المميز، مما يوفر عمليات تسريع بمعدل 2-4x بدون أي خسارة في جودة الإخراج.
ما هي الفكرة الأساسية وراء فك التشفير التخميني؟
يخمن محرر صغير عدة رموز مميزة، ويتحقق النموذج المستهدف الكبير منها معًا، ويقبل البادئة الصحيحة الأطول.
كيف يختلف EAGLE عن أساليب فك التشفير التأملية السابقة؟
يتنبأ EAGLE بالميزات المخفية للنموذج المستهدف ويعيد استخدام رأس LM، الذي ينتج مسودات أكثر دقة من أساليب الرمز المميز فقط.
لماذا يعتبر فك التشفير التخميني "بلا خسارة"؟
نظرًا لأن النموذج المستهدف يتحقق من كل رمز مميز تمت صياغته مقابل التوزيع الخاص به، فإن المخرجات المقبولة هي بالضبط ما كان سيولده الهدف بمفرده.
ما هي المشكلة في صياغة ميزات EAGLE التي تساعد في حلها عملية تضمين الرمز المميز السابق؟
يؤدي التكييف على الرمز المميز السابق الفعلي إلى تقليل غموض التنبؤ بالميزة المخفية التالية، مما يؤدي إلى تحسين دقة المسودة.
ما الذي أضافه EAGLE-2 على EAGLE الأصلي؟
قدم EAGLE-2 شجرة مسودة ديناميكية تراعي السياق، مما أدى إلى توسيع الفروع الواعدة لرفع معدل القبول.