الدليل الفني
فك التشفير التخميني باستخدام EAGLE
يعمل فك التشفير التأملي على تسريع استنتاج نموذج اللغة الكبير من خلال السماح لنموذج مسودة صغير بتخمين العديد من الرموز المميزة للأمام، والتي يتحقق منها النموذج الكبير بعد ذلك في تمريرة واحدة.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
EAGLE is a state-of-the-art version that drafts at the feature level rather than the token level, delivering 2-4x speedups with zero loss in output quality.
الغوص العميق
يعد إنشاء LLM العادي بمثابة انحدار ذاتي: حيث ينتج النموذج رمزًا مميزًا واحدًا، ويغذيه مرة أخرى، ويتكرر، لذلك يتطلب كل رمز تمريرًا أماميًا كاملاً عبر مليارات المعلمات. فك التشفير التأملي يكسر عنق الزجاجة هذا. يقترح محرر رخيص مجموعة كبيرة من الرموز المميزة، ويتحقق النموذج المستهدف باهظ الثمن من كل منهم في مسار متوازي واحد، ويقبل البادئة الصحيحة الأطول. تعمل EAGLE (خوارزمية الاستقراء لزيادة كفاءة نموذج اللغة) على تحسين الأساليب السابقة من خلال الصياغة في مساحة الميزات المخفية للنموذج وتغذية التضمين الحقيقي للرمز المميز السابق لتقليل عدم اليقين. يضيف EAGLE-2 شجرة مسودة ديناميكية، ويسقط EAGLE-3 قيد توقع الميزات لتحسين القياس. والأهم من ذلك، أن التحقق يضمن أن المخرجات مطابقة لما كان سينتجه النموذج المستهدف بمفرده.
التنفيذ في العالم الحقيقي
تقليل زمن الاستجابة في مساعدي الدردشة بحيث يتم بث الاستجابات بشكل أسرع بمقدار 2-3 مرات دون تغيير إجابات النموذج
تقليل تكاليف خدمة GPU لموفري واجهة برمجة التطبيقات ذات الحجم الكبير من خلال إنشاء المزيد من الرموز المميزة لكل تمريرة للأمام
تسريع نماذج التفكير المتسلسلة الطويلة حيث يتم إنتاج آلاف الرموز المميزة لكل استعلام
تسريع أدوات إكمال التعليمات البرمجية حيث تؤدي تسلسلات الرموز المميزة المتكررة والمتوقعة إلى معدلات قبول عالية للمسودة
مستقبل فك التشفير التخميني مع EAGLE
أصبح فك التشفير التخميني بمثابة البنية التحتية الافتراضية في خدمة الأكوام مثل vLLM وTensorRT-LLM. توقع تكاملًا أكثر إحكامًا مع التجميع ومشاركة ذاكرة التخزين المؤقت KV، ونماذج الصياغة الذاتية التي لا تحتاج إلى محرر منفصل، والتصميم المشترك للأجهزة الذي يفترض التحقق المتوازي. يتم توسيع صياغة الميزات بأسلوب EAGLE لتشمل نماذج الوسائط المتعددة والنماذج المنطقية، حيث تجعل سلاسل التفكير الطويلة تكاليف كل رمز مميز مؤلمة بشكل خاص، وإلى الاستدلال على الجهاز حيث يكون زمن الاستجابة أكثر أهمية.
وضعها موضع التنفيذ
لماذا يهم
- التكلفة والميزانية. تؤدي قرارات الهندسة المعمارية إلى زيادة الأداء وتكلفة التشغيل لسنوات.
- قرارات أوضح. يساعد التعليم الفني الفرق على اختيار المجموعة المناسبة، وليس فقط المجموعة الأحدث.
- مراقبة الجودة. تعمل الخيارات الهندسية الأفضل على تقليل حوادث الموثوقية في الإنتاج.
احترس من
- يمكن أن يؤدي تحسين معيار واحد إلى إخفاء نقاط ضعف النظام الأوسع.
- غالبًا ما يتم التقليل من تكاليف البنية التحتية والصيانة.
- يمكن أن تنمو الفجوات الأمنية وقابلية المراقبة عندما تصبح الأنظمة أكثر تعقيدًا.
الخطوات التالية
- تحديد الكمون والجودة وأهداف التكلفة قبل التنفيذ.
- المعيار في ظل ظروف التحميل والبيانات الواقعية.
- مراقبة الأدوات للأخطاء والانجراف وتأثير المستخدم.
- قم بإعداد مسارات التراجع والاستجابة للحوادث قبل القياس.
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
Take the Speculative Decoding with EAGLE quiz
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
What is Speculative Decoding with EAGLE?
يعمل فك التشفير التأملي على تسريع استنتاج نموذج اللغة الكبير من خلال السماح لنموذج مسودة صغير بتخمين العديد من الرموز المميزة للأمام، والتي يتحقق منها النموذج الكبير بعد ذلك في تمريرة واحدة. EAGLE هو إصدار متطور يتم صياغته على مستوى الميزات بدلاً من مستوى الرمز المميز، مما يوفر عمليات تسريع بمعدل 2-4x بدون أي خسارة في جودة الإخراج.
ما هي الفكرة الأساسية وراء فك التشفير التخميني؟
يخمن محرر صغير عدة رموز مميزة، ويتحقق النموذج المستهدف الكبير منها معًا، ويقبل البادئة الصحيحة الأطول.
كيف يختلف EAGLE عن أساليب فك التشفير التأملية السابقة؟
يتنبأ EAGLE بالميزات المخفية للنموذج المستهدف ويعيد استخدام رأس LM، الذي ينتج مسودات أكثر دقة من أساليب الرمز المميز فقط.
Why is speculative decoding considered lossless when implemented with exact verification?
Exact speculative sampling preserves the target distribution; this does not mean every random run must emit the same token sequence under different random draws.
ما هي المشكلة في صياغة ميزات EAGLE التي تساعد في حلها عملية تضمين الرمز المميز السابق؟
يؤدي التكييف على الرمز المميز السابق الفعلي إلى تقليل غموض التنبؤ بالميزة المخفية التالية، مما يؤدي إلى تحسين دقة المسودة.
ما الذي أضافه EAGLE-2 على EAGLE الأصلي؟
قدم EAGLE-2 شجرة مسودة ديناميكية تراعي السياق، مما أدى إلى توسيع الفروع الواعدة لرفع معدل القبول.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع