تجميع خليط الوكلاء
مزيج الوكلاء (MoA) عبارة عن تقنية تقوم فيها عدة نماذج لغوية بصياغة الإجابات ثم يقوم نموذج التجميع بدمج أفضل أفكارهم في استجابة واحدة محسنة.
نظرة عامة
It lets a team of open models rival or beat a single top-tier model.
الغوص العميق
تم تقديم Mixture of-Agents في ورقة بحثية صدرت عام 2024 من موقع Together AI، حيث يقوم بتنظيم العديد من شهادات LLM في طبقات. في الطبقة الأولى، يجيب كل نموذج من نماذج "المقترح" بشكل مستقل على الموجه. يتم بعد ذلك تجميع مخرجاتهم وتسليمها إلى الطبقة التالية، حيث تستجيب النماذج مرة أخرى، مشروطة الآن بجميع المسودات السابقة. وبعد جولة واحدة أو أكثر من هذه الجولات، يقوم نموذج "المجمع" النهائي بتجميع كل شيء في إجابة واحدة. الفكرة الأساسية، التي يسميها المؤلفون "تعاونية طلاب ماجستير الإدارة"، هي أن النماذج تنتج استجابات أفضل عندما تظهر إجابات أقرانها، حتى تلك غير الكاملة. في معيار AlpacaEval 2.0، يقال إن مذكرة التفاهم المبنية بالكامل من نماذج مفتوحة المصدر تجاوزت نتيجة GPT-4 Omni، مما يدل على أن التجميع الدقيق للنماذج المتنوعة والأرخص يمكن أن يتغلب على نظام حدودي واحد.
البصيرة الفنية
يختلف MoA عن التصويت بالأغلبية البسيطة: فبدلاً من اختيار إجابة واحدة، يقرأ المجمّع جميع ردود المرشحين كسياق ويولد توليفة جديدة، ويمزج بين نقاط القوة وتصفية الأخطاء. يساعد التنوع بين مقدمي العروض، لذا فإن المزج بين العائلات النموذجية المختلفة يعد أمرًا ذا قيمة. يتكون الهيكل من طبقات، مثل شبكة عميقة حيث تكون "الخلايا العصبية" في كل طبقة عبارة عن مكالمات LLM كاملة. والمقايضة هي زمن الوصول والتكلفة: فكل طبقة تضاعف عدد مكالمات الاستدلال، لذلك تنفق وزارة الزراعة المزيد من الحوسبة لتحسين الجودة.
التأثير الاستراتيجي
السرعة والحجم
يمكن أن تتحرك مسارات عمل اللغة بشكل أسرع دون التضحية بالاتساق.
الوصول والوصول
فهو يوسع الوصول عبر اللغات وأنماط الاتصال.
قرارات أوضح
يمكن للفرق قضاء المزيد من الوقت في الحكم بينما تتعامل الأتمتة مع التكرار.
مستقبل تجميع خليط الوكلاء
توقع أن ينتشر التجميع على طراز MoA مع انخفاض تكلفة الاستدلال ونضج أطر التنسيق. تتضمن اتجاهات البحث التعرف على مقدمي الاقتراحات الذين يجب الوثوق بهم لكل استعلام (توجيه)، وتقليل عقوبة زمن الوصول عن طريق تشغيل مقدمي الاقتراحات بالتوازي وتهذيب المقترحين الضعفاء مبكرًا، والجمع بين MoA ووكلاء استخدام الأدوات بحيث لا يدمج المجمّع النص فحسب، بل الإجراءات والأدلة المستردة. ومع تكاثر النماذج المفتوحة، يصبح تجميعها بذكاء طريقًا عمليًا بشكل متزايد نحو الجودة على مستوى الحدود دون الحاجة إلى نموذج عملاق واحد.
التنفيذ في العالم الحقيقي
الجمع بين ثلاثة نماذج مختلفة للدردشة المفتوحة كمقترحين، ثم استخدام مجمع قوي لإنتاج رد واحد مصقول لدعم العملاء.
تعزيز درجات متابعة التعليمات وفقًا لمعايير نمط AlpacaEval باستخدام النماذج مفتوحة المصدر فقط.
دمج اقتراحات التعليمات البرمجية المتنوعة من عدة نماذج في تنفيذ وظيفة واحدة أكثر قوة.
تشغيل خط أنابيب ذو أوزان مفتوحة يقترب من الجودة الحدودية لنشر حساس للخصوصية حيث لا يمكن للبيانات مغادرة خوادم الشركة.
المخاطر والدرابزين
يمكن للحقائق المهلوسة إدخال التقارير أو تدفقات الدعم أو مخرجات البحث بهدوء.
يمكن أن تؤدي الحساسية السريعة إلى نتائج غير متناسقة عبر الطلبات المماثلة.
قد يتم كشف البيانات النصية الحساسة إذا كانت عناصر التحكم في الوصول ضعيفة.
خارطة طريق التنفيذ
حدد تنسيق الإخراج والنغمة ومعايير الجودة قبل بدء التشغيل.
استجابات أرضية من مصادر موثوقة عندما تكون الدقة مهمة.
احتفظ بنقطة تفتيش للمراجعة البشرية للمخرجات عالية المخاطر.
تتبع أنماط الفشل وأعد تدريب المطالبات أو سير العمل بانتظام.
استمر في الاستكشاف
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Mixture-of-Agents Aggregation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
الدليل التالي
خليط من الأعماق
الأسئلة المتداولة
What is Mixture-of-Agents Aggregation?
مزيج الوكلاء (MoA) عبارة عن تقنية تقوم فيها عدة نماذج لغوية بصياغة الإجابات ثم يقوم نموذج التجميع بدمج أفضل أفكارهم في استجابة واحدة محسنة. إنه يتيح لفريق من النماذج المفتوحة منافسة نموذج واحد من الدرجة الأولى أو التغلب عليه.
في خليط الوكلاء، ما هو دور نموذج التجميع؟
يقرأ المجمّع جميع ردود المرشحين وينشئ إجابة واحدة مدمجة وعالية الجودة.
ما هي الخاصية الرئيسية لـ LLMs التي تعتمد عليها ورقة مذكرة التفاهم؟
لاحظ المؤلفون أن النماذج تعمل على تحسين إجاباتها عندما تكون مشروطة بمسودات نماذج أخرى، حتى تلك غير الكاملة.
كيف تختلف وزارة الزراعة عن التصويت بالأغلبية البسيطة؟
على عكس التصويت، لا تقوم وزارة الزراعة باختيار إجابة واحدة موجودة فقط؛ فهو يولد استجابة جديدة تمزج بين المرشحين.
لماذا يعتبر التنوع بين النماذج المقترحة ذا قيمة في وزارة الزراعة؟
يغطي المقترحون المتنوعون مساحة أكبر، مما يمنح المجمّع مجموعة أكثر ثراءً من الأفكار لدمجها والأخطاء لتصفيتها.
ما هي التكلفة العملية الرئيسية لنهج وزارة الزراعة؟
تضيف كل طبقة المزيد من مكالمات LLM، لذلك تقوم MoA باستبدال الحوسبة الإضافية والوقت لتحسين جودة الإجابة.