بحث العمارة العصبية
يعمل بحث الهندسة العصبية (NAS) على أتمتة تصميم هياكل الشبكات العصبية، مما يسمح للخوارزميات، وليس البشر، بتحديد عدد الطبقات، وما هي العمليات، وكيفية اتصالها.
نظرة عامة
It turns model design into a search problem, discovering architectures that can rival or beat hand-crafted ones.
الغوص العميق
يعد تصميم الشبكات العصبية يدويًا بطيئًا ويعتمد على حدس الخبراء. تستبدل NAS ذلك بالبحث في مساحة محددة من البنى المحتملة، مسترشدة باستراتيجية تقترح المرشحين وطريقة لتقدير مدى جودة كل منهم. استخدمت NAS المبكرة التعلم المعزز أو الخوارزميات التطورية، لتدريب الآلاف من الشبكات المرشحة - والتي تكلف آلاف أيام GPU. كان هذا الإنجاز هو جعل البحث أرخص: مشاركة الوزن (شبكة عملاقة تحتوي على جميع المرشحين) وطرق قابلة للتمييز مثل DARTS، والتي تعمل على تحويل الاختيارات المنفصلة إلى خيارات مستمرة بحيث يمكن للانحدار المتدرج تحسين البنية والأوزان معًا. أنتجت NAS نماذج فعالة مثل EfficientNet والعديد من شبكات الهاتف المحمول المُحسّنة المستخدمة الآن في الإنتاج.
البصيرة الفنية
يحتوي NAS على ثلاثة مكونات: مساحة البحث (العناصر الأساسية وكيفية ربطها)، واستراتيجية البحث (التعلم المعزز، أو التطور، أو البحث العشوائي، أو البحث القائم على التدرج)، وطريقة تقدير الأداء. إن تدريب كل مرشح على التقارب بشكل ساذج أمر مكلف للغاية، لذا تستخدم NAS اختصارات: تقاسم الوزن عبر الشبكة الفائقة، والوكلاء منخفضي الدقة (عصور أقل، وبيانات أصغر)، والتنبؤات المستفادة. تقوم DARTS بإجراء الاختيار المنفصل لـ "أي عملية ستتم هنا" بشكل مستمر عبر خلائط مرجحة softmax، وتحسينها باستخدام التدرجات، ثم فصل النتيجة إلى بنية نهائية.
التأثير الاستراتيجي
قرارات أوضح
يساعدك على فصل المطالبات الفنية الواضحة عن لغة التسويق.
التكلفة والميزانية
يمكنك طرح أسئلة تنفيذ أفضل قبل إنفاق المال أو الوقت.
الفريق وسير العمل
تتخذ الفرق ذات الفهم المشترك قرارات أفضل بشأن المنتجات والسياسات والتعلم.
مستقبل بحث العمارة العصبية
تتوسع NAS من أهداف الدقة فقط إلى البحث متعدد الأهداف المدرك للأجهزة والذي يعمل بشكل مشترك على تحسين زمن الوصول والطاقة والذاكرة لشرائح معينة - وهو أمر حيوي للذكاء الاصطناعي على الحافة والهواتف المحمولة. تعمل الوكلاء بدون تكلفة، الذين يقومون بتصنيف البنيات دون تدريب، على تسريع عملية البحث بشكل كبير. مع سيطرة المحولات، يتم تطبيق NAS على أنماط الانتباه، وعروض الطبقات، وتكوينات LLM بأكملها، ويتم دمجها مع مسارات التعلم الآلي الآلية. وتتمثل الحدود في التصميم المشترك للنماذج والأجهزة معًا، مع حلقات بحث تتكيف مع قيود النشر تلقائيًا.
التنفيذ في العالم الحقيقي
عائلة Google's EfficientNet، التي تم توجيه بنيتها المركبة من خلال البحث الآلي للحصول على دقة قوية لكل FLOP.
قامت نماذج الرؤية المتنقلة (مثل MnasNet) بالبحث مع زمن الوصول على هاتف حقيقي في الحلقة للحصول على السرعة على الجهاز.
NAS المدرك للأجهزة والذي يقوم بتخصيص شبكة لذاكرة مسرع معين وحدود الحوسبة.
منصات AutoML التي تتيح لغير الخبراء الحصول على نموذج مخصص تنافسي من خلال البحث في البنيات تلقائيًا.
المخاطر والدرابزين
قد تستخدم الفرق المختلفة نفس المصطلح بشكل مختلف، لذا حدد النطاق مبكرًا.
يمكن أن تبدو المعايير قوية بينما يكون الأداء في العالم الحقيقي غير متساوٍ.
غالبًا ما يؤدي تجاهل جودة البيانات وخطط التقييم إلى نتائج هشة.
خارطة طريق التنفيذ
ابدأ بتعريف لغة واضحة للنتيجة التي تحتاجها.
اختر مقياس نجاح واحد وحالة فشل واحدة قبل الاختبار.
قم بتشغيل برنامج تجريبي صغير يحتوي على بيانات تمثيلية، وليس مجموعة تجريبية مصقولة.
قم بالتوثيق حيث يساعد البحث في الهندسة العصبية وحيث تكون الطرق الأبسط أفضل.
استمر في الاستكشاف
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Neural Architecture Search quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
الدليل التالي
الرسم البياني للشبكات العصبية
الأسئلة المتداولة
What is Neural Architecture Search?
يعمل بحث الهندسة العصبية (NAS) على أتمتة تصميم هياكل الشبكات العصبية، مما يسمح للخوارزميات، وليس البشر، بتحديد عدد الطبقات، وما هي العمليات، وكيفية اتصالها. إنه يحول تصميم النموذج إلى مشكلة بحث، ويكتشف بنيات يمكن أن تنافس أو تتفوق على تلك المصنوعة يدويًا.
ما الذي يقوم بأتمتة بحث الهندسة المعمارية العصبية؟
تقوم NAS بأتمتة اختيار الطبقات والعمليات والاتصالات - البنية نفسها - بدلاً من الاعتماد فقط على التصميم البشري.
ما هي المكونات الثلاثة التي تحدد طريقة NAS؟
تم تأطير NAS كمساحة بحث، واستراتيجية بحث لاستكشافها، وطريقة لتقدير أداء كل مرشح.
لماذا تم انتقاد NAS القائم على التعلم المعزز المبكر؟
أدى تدريب الآلاف من الشبكات المرشحة إلى جعل أنظمة NAS المبكرة مكلفة للغاية في مجال الحوسبة، مما حفز على استخدام أساليب أرخص.
ما هي الحيلة الأساسية التي تستخدمها DARTS لجعل البحث فعالاً؟
يقوم DARTS (البحث في الهندسة المعمارية التفاضلية) بتحويل خيارات التشغيل المنفصلة إلى خليط متواصل ذو وزن softmax بحيث يتم تطبيق النسب المتدرج.
ما هي "الشبكة الفائقة" في NAS لتقاسم الوزن؟
تشمل الشبكة الفائقة كل بنية مرشحة وتتقاسم الأوزان فيما بينها، لذلك لا يحتاج المرشحون إلى التدريب من الصفر.