دمج النموذج
يجمع دمج النماذج بين أوزان شبكتين عصبيتين مدربتين أو أكثر في نموذج واحد - دون أي إعادة تدريب أو الوصول إلى بيانات التدريب الأصلية.
نظرة عامة
It matters because it lets teams blend specialized skills cheaply, turning expensive fine-tuned models into reusable building blocks.
الغوص العميق
يدمج دمج النماذج المعلمات الفعلية (الأوزان) لنماذج متعددة تشترك في نفس البنية. إن أبسط طريقة، وهي حساب متوسط الوزن، تأخذ فقط متوسط الأوزان المقابلة. تعمل الأساليب الأكثر ذكاءً مع "ناقلات المهام" - وهو الفرق بين النموذج المضبوط بدقة وقاعدته. تؤدي إضافة ناقل مهمة إلى ضخ مهارة؛ يمكن أن يؤدي طرحه إلى إزالة السلوك غير المرغوب فيه. تقوم تقنيات مثل TIES-Merging و DARE بقص هذه المتجهات وإعادة قياسها لتقليل التداخل عند دمج العديد من النماذج. نظرًا لعدم الحاجة إلى أصل متدرج أو بيانات، يتم تنفيذ الدمج في ثوانٍ على جهاز كمبيوتر محمول. المشكلة: أنها لا تعمل إلا عندما تنحدر النماذج من قاعدة مشتركة وتعيش في مناطق متوافقة من مساحة الوزن.
البصيرة الفنية
الفكرة الأساسية هي أن الضبط الدقيق يحرك الأوزان على طول "حوض الخسارة" المسطح نسبيًا بالقرب من النموذج الأساسي. ناقل المهمة هو ببساطة (الأوزان المضبوطة بدقة مطروحًا منها الأوزان الأساسية). نظرًا لأن هذه المتجهات خطية تقريبًا وغالبًا ما تكون شبه متعامدة عبر مهام مختلفة، يمكنك إضافة العديد منها معًا ويحتفظ النموذج المدمج بكل مهارة. يقوم TIES وDARE أولاً بقص دلتا الوزن الصغيرة أو المتعارضة لتقليل الخلاف في الإشارة، ثم دمجهما، مما يمنع مهمة من الكتابة فوق أخرى.
التأثير الاستراتيجي
التكلفة والميزانية
تؤدي قرارات الهندسة المعمارية إلى زيادة الأداء وتكلفة التشغيل لسنوات.
قرارات أوضح
يساعد التعليم الفني الفرق على اختيار المجموعة المناسبة، وليس فقط المجموعة الأحدث.
مراقبة الجودة
تعمل الخيارات الهندسية الأفضل على تقليل حوادث الموثوقية في الإنتاج.
مستقبل دمج النماذج
توقع أن يصبح الدمج جزءًا قياسيًا من نموذج "سلاسل التوريد". تستضيف المراكز بالفعل الآلاف من نقاط التفتيش القابلة للدمج، وأدوات مثل mergekit تجعل الوصفات قابلة للمشاركة. يتجه البحث نحو البحث الآلي عن الدمج (الخوارزميات التطورية التي تختار نسب المزج بين الطبقات)، والدمج عبر بنيات مختلفة قليلاً، ودمج مكونات خليط الخبراء بسرعة. ومع تكاثر الضبط الدقيق المفتوح، يوفر الدمج طريقة شبه مجانية لتركيب القدرات، على الرغم من أن ترخيص النماذج المدمجة ومصدرها سيحتاجان إلى معايير أكثر وضوحًا.
التنفيذ في العالم الحقيقي
مزج نموذج مضبوط للتشفير مع نموذج مضبوط للدردشة بحيث يكتب أحد طلاب ماجستير إدارة الأعمال التعليمات البرمجية ويتحدث بشكل طبيعي، دون إعادة التدريب أيضًا.
تجارب الدمج التطوري التي جمعت بين نموذج اللغة اليابانية ونموذج الرياضيات الإنجليزي لإنتاج حل رياضي قوي باللغة اليابانية.
طرح ناقل مهمة "السمية" من أوزان النموذج لتقليل المخرجات الضارة دون جمع بيانات سلامة جديدة.
دمج العديد من محولات LoRA المدربة على أنماط الكتابة المختلفة في نموذج واحد يمكنه تبديل النغمة بمرونة.
المخاطر والدرابزين
يمكن أن يؤدي تحسين معيار واحد إلى إخفاء نقاط ضعف النظام الأوسع.
غالبًا ما يتم التقليل من تكاليف البنية التحتية والصيانة.
يمكن أن تنمو الفجوات الأمنية وقابلية المراقبة عندما تصبح الأنظمة أكثر تعقيدًا.
خارطة طريق التنفيذ
تحديد الكمون والجودة وأهداف التكلفة قبل التنفيذ.
المعيار في ظل ظروف التحميل والبيانات الواقعية.
مراقبة الأدوات للأخطاء والانجراف وتأثير المستخدم.
قم بإعداد مسارات التراجع والاستجابة للحوادث قبل القياس.
استمر في الاستكشاف
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Model Merging quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
الدليل التالي
دمج النموذج التطوري لـ Sakana AI
الأسئلة المتداولة
What is Model Merging?
يجمع دمج النماذج بين أوزان شبكتين عصبيتين مدربتين أو أكثر في نموذج واحد - دون أي إعادة تدريب أو الوصول إلى بيانات التدريب الأصلية. إنه أمر مهم لأنه يتيح للفرق مزج المهارات المتخصصة بتكلفة زهيدة، وتحويل النماذج باهظة الثمن والمضبوطة بدقة إلى وحدات بناء قابلة لإعادة الاستخدام.
ما الذي يجمعه دمج النماذج في المقام الأول؟
يعمل دمج النماذج مباشرة على الأوزان/المعلمات المستفادة من النماذج، ودمجها في مجموعة واحدة، بدلاً من دمج البيانات أو مخرجات وقت التشغيل.
لماذا يمكن تنفيذ عملية دمج النماذج في ثوانٍ على أجهزة متواضعة؟
نظرًا لأن الدمج هو في الأساس عملية حسابية مرجحة على الأوزان الموجودة، فلا يوجد أي انتشار عكسي مكلف أو تمرير بيانات.
ما هي المشكلة التي تعالجها أساليب مثل TIES-Merging و DARE على وجه التحديد؟
تعمل TIES وDARE على تقليم وإعادة قياس متجهات المهام لتقليل التحديثات المتعارضة (العلامة المقابلة)، بحيث لا تحل إحدى المهام محل مهمة أخرى.
كيف يمكن استخدام الدمج *لإزالة* سلوك غير مرغوب فيه؟
إن إلغاء (طرح) ناقل المهمة المرتبط بسمة غير مرغوب فيها، مثل السمية، يمكن أن يوجه النموذج بعيدًا عن هذا السلوك.