دمج النموذج التطوري لـ Sakana AI
Sakana AI هو مختبر مقره في طوكيو يطبق أساليب مستوحاة من الطبيعة على الذكاء الاصطناعي، وعلى الأخص استخدام الخوارزميات التطورية لدمج النماذج المفتوحة الحالية في نماذج جديدة أفضل.
نظرة عامة
Instead of training from scratch, it 'breeds' models by automatically combining their strengths.
الغوص العميق
تأسست Sakana AI في عام 2023 على يد ليون جونز، المؤلف المشارك لورقة المحولات الأصلية "Attention Is All You Need"، وديفيد ها، الذي كان يعمل سابقًا في Google Brain. الاسم يعني "الأسماك" باللغة اليابانية، مما يعكس فلسفة مستوحاة من المدارس والأسراب: العديد من العوامل الجماعية الصغيرة بدلاً من نموذج واحد عملاق. تستخدم تقنيتها المتطورة، دمج النماذج التطورية، البحث التطوري لاكتشاف كيفية الجمع بين أوزان وطبقات النماذج المتعددة مفتوحة المصدر المدربة مسبقًا. تستكشف الخوارزمية الآلاف من وصفات الدمج، مع الاحتفاظ بالمجموعات التي تحقق نتائج جيدة في المهام المستهدفة. استخدمت ساكانا هذا لإنشاء نماذج رياضية ورؤية قادرة باللغة اليابانية واليابانية من خلال دمج النماذج الحالية، بجزء صغير من تكلفة تدريب نماذج جديدة. أنتجت الشركة أيضًا نظام "AI Scientist"، وهو نظام يحاول أتمتة البحث بنفسه.
البصيرة الفنية
يمزج دمج النماذج معلمات الشبكات المدربة بشكل منفصل. تطور Sakana عمليات الدمج في مساحتين في وقت واحد: مساحة المعلمة (كيفية وزن واستيفاء أوزان كل نموذج، طبقة بعد طبقة) ومساحة تدفق البيانات (أي الطبقات التي سيتم تكديس النماذج منها وبأي ترتيب). تقترح الخوارزمية التطورية وصفات مرشحة، وتقيمها على أساس معياري، وتختار الأفضل وتحوله، وتتجه نحو الهجينة عالية الأداء دون تدريب قائم على التدرج.
التأثير الاستراتيجي
استراتيجية البائع
تؤثر خرائط طريق البائع على الميزات التي يمكن لفريقك إنشاءها بعد ذلك.
التكلفة والميزانية
تؤثر الشروط التجارية وخيارات النشر على التكلفة والمخاطر على المدى الطويل.
المخاطر والسلامة
تعمل حوافز الشركة على تشكيل الإعدادات الافتراضية للمنتج، ووضعية السلامة، والانفتاح.
مستقبل دمج نموذج Sakana AI التطوري
ويشير الدمج التطوري إلى مستقبل يتم فيه تجميع نماذج قادرة جديدة من مكتبة متنامية من النماذج المفتوحة بتكلفة زهيدة، مما يؤدي إلى إضفاء الطابع الديمقراطي على الوصول إلى ما هو أبعد من المختبرات ذات الميزانيات الحاسوبية الضخمة. بالاشتراك مع "عالم الذكاء الاصطناعي" الآلي من سكنا، تتمثل الرؤية طويلة المدى في أنظمة الذكاء الاصطناعي التي تساعد على اكتشاف التحسينات الخاصة بها. تشمل الأسئلة المفتوحة تجنب النماذج المدمجة التي ترث الأخطاء أو التحيزات، وما إذا كان البحث التطوري يرقى إلى الأداء على مستوى الحدود بدلاً من تخصيص النماذج الحالية بشكل أساسي.
التنفيذ في العالم الحقيقي
إنشاء نموذج لغة قوي قادر على اللغة اليابانية من خلال دمج النماذج المفتوحة الإنجليزية واليابانية دون إعادة التدريب
بناء نموذج استدلال رياضي ياباني من خلال تطوير مجموعات من النماذج المتخصصة في الرياضيات
إنتاج نموذج لغة رؤية يتعامل مع النص الياباني في الصور عبر الدمج بين المجالات
السماح للمؤسسات الصغيرة بتجميع نماذج خاصة بالمهام بتكلفة منخفضة من الأوزان المفتوحة بدلاً من التدريب من الصفر
المخاطر والدرابزين
قد تتجاوز إعلانات الإطلاق الاستقرار في سير عمل الإنتاج الحقيقي.
يمكن أن يؤدي تسعير واجهة برمجة التطبيقات (API) أو تغيرات السياسة إلى كسر الافتراضات بين عشية وضحاها.
يؤدي الاعتماد على بائع واحد إلى زيادة تكاليف الحجز والترحيل.
خارطة طريق التنفيذ
قم بتقييم مقدمي الخدمة باستخدام المهام ومجموعات البيانات الخاصة بك.
راجع الخصوصية والأمان والمصطلحات القانونية قبل التكامل.
احتفظ بخطة احتياطية عبر النماذج أو البائعين.
راقب ملاحظات الإصدار حتى لا تفاجئ التغييرات في خارطة الطريق الفرق.
استمر في الاستكشاف
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Sakana AI Evolutionary Model Merging quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
الدليل التالي
دمج النموذج
الأسئلة المتداولة
What is Sakana AI Evolutionary Model Merging?
Sakana AI هو مختبر مقره في طوكيو يطبق أساليب مستوحاة من الطبيعة على الذكاء الاصطناعي، وعلى الأخص استخدام الخوارزميات التطورية لدمج النماذج المفتوحة الحالية في نماذج جديدة أفضل. فبدلاً من التدريب من الصفر، يقوم بتوليد النماذج من خلال الجمع بين نقاط قوتها تلقائيًا.
ما الذي يفعله نموذج الدمج التطوري لـ Sakana AI في الواقع؟
إنه يطور وصفات للجمع بين أوزان وطبقات النماذج المفتوحة المتعددة المدربة مسبقًا، بدلاً من التدريب من جديد.
من هو المؤسس المشارك البارز لشركة Sakana AI؟
شارك ليون جونز، المؤلف المشارك لكتاب "الانتباه هو كل ما تحتاجه"، في تأسيس Sakana مع ديفيد ها.
ماذا يعني ويعكس اسم "سكنا"؟
سكنا تعني السمك. تفضل الشركة العديد من الوكلاء الجماعيين الصغار على نموذج واحد متجانس.
سكنا يتطور نموذج يدمج عبر أي مساحتين؟
فهو يبحث في كيفية وزن/استيفاء المعلمات والطبقات التي سيتم تكديسها وبأي ترتيب.
إلى جانب دمج النماذج، ما هو النظام الطموح الذي قدمته سكنا؟
أصدرت سكنا نظام "AI Scientist"، وهو نظام يحاول أتمتة أجزاء من عملية البحث نفسها.