التاليالدليل التالي
إنشاء النص إلى ثلاثي الأبعاد
الذكاء الاصطناعي البصري
دليل الذكاء الاصطناعي المرئي
GLIGEN الجيل الأرضي
يتيح لك GLIGEN (إنشاء اللغة المؤرضة إلى الصورة) التحكم الدقيق في مكان ظهور الكائنات في الصورة التي تم إنشاؤها عن طريق تغذية المربعات والتسميات المحيطة بالنموذج بجانب موجه النص.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
فهو يحول النص المبهم إلى صورة إلى تركيب دقيق يمكن التحكم فيه بالتخطيط.
الغوص العميق
تواجه نماذج تحويل النص إلى صورة القياسية صعوبة في التحكم المكاني: فاطلب "قطة على يسار الكلب" وغالبًا ما تخطئ في تحديد الموضع. يعمل GLIGEN، الذي تم تقديمه في عام 2023، على حل هذه المشكلة عن طريق إضافة مدخلات التأريض مثل المربعات المحيطة المقترنة بكيانات النص أو الصورة أو النقاط الرئيسية أو الصور المرجعية. والأهم من ذلك، أنه يجمد أوزان نموذج النشر الأصلي المُدرب مسبقًا ويحقن طبقات جديدة من الاهتمام الذاتي قابلة للتدريب والتي تمتص رموز التأريض. وهذا يعني أنه يعتمد على نموذج مثل Stable Diffusion دون تدمير المعرفة المكتسبة، ويبدأ البوابات بالقرب من الصفر بحيث يتم الحفاظ على سلوك النموذج الأساسي في وقت مبكر من التدريب. والنتيجة هي إنشاء عالم مفتوح مؤرض: يمكنك وضع كائنات موصوفة بشكل عشوائي في مواقع محددة، ويتم تعميمها على المفاهيم والتخطيطات التي لم تتم رؤيتها أثناء التدريب على التأريض.
التنفيذ في العالم الحقيقي
وضع شعار أو منتج في منطقة محددة من الإعلان الذي تم إنشاؤه باستخدام المربع المحيط
إنشاء مشاهد معقدة عن طريق تحديد المكان الذي يجب أن يوضع فيه كل حرف أو كائن قبل العرض
إنشاء بيانات تدريب للكشف عن الأشياء باستخدام مواقع صناديق الحقيقة الأرضية المعروفة
رسم كائن موصوف في منطقة مرسومة بواسطة المستخدم من صورة موجودة
مستقبل جيل GLIGEN المؤرض
أصبح التوليد المؤرض والذي يمكن التحكم فيه بالتخطيط معيارًا في أدوات الإنتاج. توقع أن يتم دمج التكييف المكاني على طراز GLIGEN مع طرق التحكم الأخرى مثل ControlNet والمطالبة الإقليمية، وأن يمتد إلى الفيديو وثلاثي الأبعاد حيث يكون وضع الكائنات عبر الزمان والمكان أكثر أهمية. نظرًا لأن النماذج تعتمد واجهات تتبع التعليمات، فإن التحكم في تخطيط السحب والإفلات والرسوم البيانية للمشهد المحددة باللغة ستجعل التركيب الدقيق متاحًا دون حيل هندسية سريعة.
وضعها موضع التنفيذ
لماذا يهم
- السرعة والحجم. يمكن للذكاء الاصطناعي المرئي أتمتة مهام الفحص والكشف ووضع العلامات على نطاق واسع.
- خيارات البناء. يمكن للفرق الإبداعية إنشاء نماذج أولية للمفاهيم بشكل أسرع مع عدد أقل من المراجعات اليدوية.
- الفريق وسير العمل. يمكن أن تستخدم العمليات إشارات الصور والفيديو التي كان من الصعب معالجتها في السابق.
احترس من
- يمكن أن تصبح حقوق الصور والموافقة مخاطر قانونية إذا كان المصدر غير واضح.
- يمكن أن يختلف أداء النموذج عبر الإضاءة والتركيبة السكانية والبيئات.
- قد تمر الإيجابيات الكاذبة دون أن يلاحظها أحد ما لم تتم مراقبة عتبات الثقة.
الخطوات التالية
- تحديد معايير القبول لتكاليف الدقة والاستدعاء والخطأ.
- اختبار مع البيانات التي تتوافق مع ظروف الإنتاج الحقيقية.
- أضف مراجعة بشرية للتنبؤات منخفضة الثقة أو عالية التأثير.
- تتبع انحراف النموذج وإعادة التحقق من صحته بعد تغيير الكاميرا أو مجموعة البيانات.
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
Take the GLIGEN Grounded Generation quiz
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
ما هو الجيل الأرضي من GLIGEN؟
يتيح لك GLIGEN (إنشاء اللغة المؤرضة إلى الصورة) التحكم الدقيق في مكان ظهور الكائنات في الصورة التي تم إنشاؤها عن طريق تغذية المربعات والتسميات المحيطة بالنموذج بجانب موجه النص. فهو يحول النص المبهم إلى صورة إلى تركيب دقيق يمكن التحكم فيه بالتخطيط.
ما هي المشكلة التي يحلها GLIGEN في المقام الأول؟
يضيف GLIGEN مدخلات أساسية مثل المربعات المحيطة حتى تتمكن من التحكم في مكان وضع الكائنات بالضبط، والذي يطالب النص العادي بالتعامل معه بشكل سيئ.
كيف يحافظ GLIGEN على المعرفة بنموذج النشر المُدرب مسبقًا؟
يقوم GLIGEN بتجميد النموذج الأساسي وإدخال طبقات جديدة من الاهتمام الذاتي، بحيث تظل المعرفة المكتسبة الأصلية سليمة.
ما هو مدخل التأريض النموذجي الذي تقبله GLIGEN؟
يدعم GLIGEN التأريض عبر المربعات المحيطة بكيانات النص/الصورة ونقاط المفاتيح والصور المرجعية.
لماذا تمت تهيئة البوابة في طبقات الاهتمام الجديدة لـ GLIGEN إلى الصفر؟
البوابة ذات التهيئة الصفرية تعني أن التأريض ليس له أي تأثير في البداية، مما يحافظ على النموذج الأصلي ويحافظ على استقرار التدريب مع زيادة التحكم.
ماذا يعني الجيل الأرضي "العالم المفتوح" في GLIGEN؟
تقوم شركة GLIGEN بتعميم ما هو أبعد من مجموعة التدريب الأساسية الخاصة بها، حيث تضع كائنات موصوفة جديدة في مواقع محددة.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع