كونترول نت
ControlNet عبارة عن وظيفة إضافية تمنح نماذج إنشاء الصور تحكمًا هيكليًا دقيقًا، مما يتيح لك توجيه الإخراج باستخدام الحواف أو الوضعيات أو خرائط العمق أو الخربشات.
نظرة عامة
It turns text-to-image from a slot machine into a controllable design tool.
الغوص العميق
تم تقديم ControlNet بواسطة Lvmin Zhang وزملائه في عام 2023، وهي متصلة بنموذج نشر مُدرب مسبقًا مثل Stable Diffusion دون إعادة تدريب كل شيء. فهو يستنسخ كتل التشفير الخاصة بشبكة U-Net المنتشرة في نسخة قابلة للتدريب، ثم يربط تلك النسخة مرة أخرى بالأصل المجمد من خلال طبقات تلافيفية ذات تهيئة صفرية (تحويلات صفرية). تبدأ هذه التحويلات الصفرية بدون أي تأثير، لذلك يبدأ التدريب من سلوك النموذج الأصلي ويتعلم تدريجيًا كيفية حقن التكييف. التكييف عبارة عن خريطة مكانية: صورة حافة ذكية، أو هيكل عظمي OpenPose، أو خريطة عمق، أو قناع تجزئة، أو رسم تقريبي. والنتيجة هي أن الصورة التي تم إنشاؤها تتبع بنية خريطة التحكم بينما يحدد موجه النص النمط والمحتوى، مما يمنح الفنانين تخطيطات موثوقة وقابلة للتكرار.
البصيرة الفنية
الحيلة المحددة هي الالتواء الصفري. نظرًا لأنه تمت تهيئة طبقات الاتصال إلى أوزان صفرية، فإن فرع ControlNet لا يضيف شيئًا في البداية، وبالتالي يكون النموذج مطابقًا للأصل في بداية التدريب. وهذا يمنع الضوضاء الضارة التي يمكن أن تحقنها الطبقات الجديدة ويجعل الضبط الدقيق مستقرًا حتى في مجموعات البيانات الصغيرة. تتدفق التدرجات إلى الصفر وتفتح مسار التكييف تدريجيًا، لتعلم التحكم الهيكلي بأمان.
التأثير الاستراتيجي
السرعة والحجم
يمكن للذكاء الاصطناعي المرئي أتمتة مهام الفحص والكشف ووضع العلامات على نطاق واسع.
خيارات البناء
يمكن للفرق الإبداعية إنشاء نماذج أولية للمفاهيم بشكل أسرع مع عدد أقل من المراجعات اليدوية.
الفريق وسير العمل
يمكن أن تستخدم العمليات إشارات الصور والفيديو التي كان من الصعب معالجتها في السابق.
مستقبل ControlNet
أصبح تكييف نمط ControlNet بنية تحتية قياسية في الأدوات الإبداعية، مع تكديس متعدد الشروط (الجمع بين الوضعية والعمق بالإضافة إلى الحواف) ومحولات أخف مثل T2I-Adapter وIP-Adapter. توقع تكاملًا أكثر إحكامًا في نشر الفيديو للتحكم المتسق في الحركة، والتحرير التفاعلي في الوقت الفعلي، والنماذج الموحدة التي تقبل العديد من أنواع التحكم في وقت واحد، مما يؤدي إلى عدم وضوح الخط الفاصل بين الرسم والعرض النهائي.
التنفيذ في العالم الحقيقي
قفل الوضع الدقيق للشخصية باستخدام هيكل OpenPose أثناء تغيير الملابس والخلفية عبر المطالبة
استخدام خرائط Canny edge لإعادة تصميم صورة المبنى مع الحفاظ على خطوطها المعمارية الدقيقة
تحويل الشخبطة الخشنة المرسومة يدويًا إلى رسوم توضيحية مصقولة للفن المفاهيمي والقصص المصورة
تطبيق خرائط العمق بحيث تحترم المشاهد التي تم إنشاؤها التخطيط ثلاثي الأبعاد لعرض المنتجات ونماذج التصميم الداخلي
المخاطر والدرابزين
يمكن أن تصبح حقوق الصور والموافقة مخاطر قانونية إذا كان المصدر غير واضح.
يمكن أن يختلف أداء النموذج عبر الإضاءة والتركيبة السكانية والبيئات.
قد تمر الإيجابيات الكاذبة دون أن يلاحظها أحد ما لم تتم مراقبة عتبات الثقة.
خارطة طريق التنفيذ
تحديد معايير القبول لتكاليف الدقة والاستدعاء والخطأ.
اختبار مع البيانات التي تتوافق مع ظروف الإنتاج الحقيقية.
أضف مراجعة بشرية للتنبؤات منخفضة الثقة أو عالية التأثير.
تتبع انحراف النموذج وإعادة التحقق من صحته بعد تغيير الكاميرا أو مجموعة البيانات.
استمر في الاستكشاف
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the ControlNet quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
الدليل التالي
البطولات الاربع البصرية
الأسئلة المتداولة
What is ControlNet?
ControlNet عبارة عن وظيفة إضافية تمنح نماذج إنشاء الصور تحكمًا هيكليًا دقيقًا، مما يتيح لك توجيه الإخراج باستخدام الحواف أو الوضعيات أو خرائط العمق أو الخربشات. فهو يحول النص إلى صورة من ماكينة القمار إلى أداة تصميم يمكن التحكم فيها.
ما هي المشكلة التي يحلها ControlNet بشكل أساسي لتوليد الصور؟
يتيح ControlNet للمستخدمين توجيه المخرجات باستخدام الظروف المكانية مثل الحواف أو الوضعيات أو العمق، مما يجعل عملية الإنتاج قابلة للتحكم وليس عشوائية.
ما هو دور طبقات "الالتواء الصفري" في ControlNet؟
لا تساهم التلافيفات التي تمت تهيئتها صفرًا بأي شيء في البداية، لذا يتطابق النموذج مع النموذج الأصلي ويتعلم التكييف تدريجيًا وثباتًا.
أي مما يلي يعد مدخلاً صالحًا لتكييف ControlNet؟
يستخدم ControlNet الخرائط المكانية مثل الهياكل العظمية الوضعية، وخرائط العمق، وحواف Canny، وأقنعة التجزئة كتوجيه هيكلي.
كيف ترتبط ControlNet بنموذج الانتشار الأساسي مثل Stable Diffusion؟
تقوم ControlNet باستنساخ نسخة من برنامج التشفير وتدريبها مع الحفاظ على تجميد U-Net الأصلي، والحفاظ على المعرفة المكتسبة.
في سير عمل ControlNet، ما الذي يحدد النمط والمحتوى عادةً بينما تحدد خريطة التحكم البنية؟
يتحكم موجه النص في النمط والموضوع، بينما تفرض خريطة التحكم التخطيط المكاني.