خليط من الأعماق
يتيح مزيج الأعماق (MoD) للمحول إنفاق كميات مختلفة من الحساب على رموز مختلفة، وتوجيه الرموز المميزة "المهمة" فقط من خلال الحساب الثقيل لكل طبقة.
نظرة عامة
It cuts the cost of processing easy tokens while keeping a fixed, predictable compute budget.
الغوص العميق
تطبق المحولات القياسية كل طبقة على كل رمز، حتى تلك البسيطة مثل علامات الترقيم. يضيف مزيج الأعماق، الذي قدمته Google DeepMind في عام 2024، جهاز توجيه صغير في كل كتلة يحدد جزءًا ثابتًا من الرموز المميزة للخضوع للانتباه الذاتي الكامل وحساب MLP؛ الباقي تخطي الكتلة عبر اتصال المتبقية. نظرًا لأنه تتم معالجة رموز k فقط لكل طبقة، فإن إجمالي الحوسبة (FLOPs) يتم تحديده ومعروف مسبقًا، على عكس طرق العمق الديناميكي السابقة التي تختلف بشكل غير متوقع. وهذا يجعل عملية التجميع واستخدام الأجهزة فعالة. يمكن للنماذج المدربة بواسطة وزارة الدفاع أن تتطابق مع جودة محول خط الأساس باستخدام عدد أقل من عمليات FLOP لكل تمريرة أمامية، أو الوصول إلى جودة أعلى بنفس الحساب، وتتألف الفكرة بشكل طبيعي مع مزيج من الخبراء لإعطاء نماذج "MoDE" التي تتجه على كل من العمق والعرض.
البصيرة الفنية
في كل كتلة MoD، يقوم جهاز التوجيه الخطي المتعلم بتسجيل كل رمز مميز ويحافظ على أعلى k حسب النتيجة؛ تمر الرموز المميزة المحددة عبر الانتباه وMLP، بينما يتم ترحيل الرموز المميزة غير المحددة للأمام دون تغيير بواسطة المسار المتبقي. يؤدي استخدام أعلى k ثابت (بدلاً من عتبة لكل رمز مميز) إلى جعل الرسم البياني الحسابي ثابتًا وأشكال الموتر ثابتة، وهو أمر صديق للأجهزة. يتم تدريب جهاز التوجيه مع بقية الشبكة، ويستخدم الإنشاء السببي تنبؤات مساعدة حتى لا تلقي قرارات التوجيه نظرة خاطفة على الرموز المميزة المستقبلية.
التأثير الاستراتيجي
السرعة والحجم
يمكن أن تتحرك مسارات عمل اللغة بشكل أسرع دون التضحية بالاتساق.
الوصول والوصول
فهو يوسع الوصول عبر اللغات وأنماط الاتصال.
قرارات أوضح
يمكن للفرق قضاء المزيد من الوقت في الحكم بينما تتعامل الأتمتة مع التكرار.
مستقبل خليط الأعماق
يعد الحساب الشرطي أداة رئيسية لتحقيق الكفاءة مع قياس النماذج، ويعد MoD مثالًا مبكرًا ونظيفًا. توقع تكاملًا أعمق مع Mixture of Experts (التوجيه على كل من العمق والخبراء)، والميزانيات التكيفية التي تتقلص لسهولة الإدخال، وأجهزة التوجيه المتعلمة التي تحدد بشكل أفضل الرموز المميزة التي تحتاج حقًا إلى معالجة عميقة. وبما أن تكاليف الاستدلال تهيمن على اقتصاديات النشر، فمن المرجح أن تصبح التقنيات التي تسمح للنماذج "بالتفكير بجدية أكبر" عند الحاجة فقط، مع الحفاظ على زمن الوصول الذي يمكن التنبؤ به، معيارًا في البنى واسعة النطاق.
التنفيذ في العالم الحقيقي
تقليل عمليات FLOP اللازمة لمعالجة المستندات الطويلة عن طريق تخطي العمليات الحسابية العميقة على رموز الحشو
تدريب نموذج يطابق الجودة الأساسية بحوسبة أقل، مما يؤدي إلى خفض تكلفة العرض
الدمج مع مزيج الخبراء (MoDE) للتوجيه على عمق الطبقة واختيار الخبراء
الحفاظ على زمن استجابة ثابت يمكن التنبؤ به لكل رمز لأن ميزانية الحوسبة لكل طبقة تكون ثابتة مسبقًا
المخاطر والدرابزين
يمكن للحقائق المهلوسة إدخال التقارير أو تدفقات الدعم أو مخرجات البحث بهدوء.
يمكن أن تؤدي الحساسية السريعة إلى نتائج غير متناسقة عبر الطلبات المماثلة.
قد يتم كشف البيانات النصية الحساسة إذا كانت عناصر التحكم في الوصول ضعيفة.
خارطة طريق التنفيذ
حدد تنسيق الإخراج والنغمة ومعايير الجودة قبل بدء التشغيل.
استجابات أرضية من مصادر موثوقة عندما تكون الدقة مهمة.
احتفظ بنقطة تفتيش للمراجعة البشرية للمخرجات عالية المخاطر.
تتبع أنماط الفشل وأعد تدريب المطالبات أو سير العمل بانتظام.
استمر في الاستكشاف
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Mixture of Depths quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
الدليل التالي
تجميع خليط الوكلاء
الأسئلة المتداولة
What is Mixture of Depths?
يتيح مزيج الأعماق (MoD) للمحول إنفاق كميات مختلفة من الحساب على رموز مختلفة، وتوجيه الرموز المميزة "المهمة" فقط من خلال الحساب الثقيل لكل طبقة. إنه يقلل من تكلفة معالجة الرموز المميزة مع الحفاظ على ميزانية حوسبة ثابتة ويمكن التنبؤ بها.
ماذا يختلف خليط الأعماق عبر الرموز؟
يقوم MoD بتوجيه بعض الرموز المميزة فقط من خلال الحساب الثقيل لكل طبقة، لذلك تحصل الرموز المميزة المختلفة على عمق مختلف بشكل فعال.
كيف تحافظ وزارة الدفاع على ميزانية الحوسبة الخاصة بها بحيث يمكن التنبؤ بها؟
يؤدي اختيار مجموعة ثابتة من الرموز المميزة لكل كتلة إلى FLOPs ويحافظ على ثبات أشكال الموتر، وهو أمر صديق للأجهزة.
ماذا يحدث للرموز المميزة التي لا يحددها جهاز التوجيه في كتلة معينة؟
تتجاوز الرموز المميزة غير المحددة حساب الكتلة ويتم ترحيلها دون تغيير بواسطة المسار المتبقي.
من الذي قدم خليط الأعماق؟
تم تقديم خليط الأعماق بواسطة Google DeepMind في ورقة بحثية صدرت عام 2024 حول حساب المحولات الديناميكية.
ما الذي ينتج عن الجمع بين وزارة الدفاع ومزيج الخبراء؟
يؤدي الجمع بين التوجيه المتعمق والتوجيه الخبير إلى إنتاج نماذج "MoDE" التي تحدد الحوسبة لكل من الطبقات والخبراء.