نظرة عامة
يتيح لك GLIGEN (إنشاء اللغة المؤرضة إلى الصورة) التحكم الدقيق في مكان ظهور الكائنات في الصورة التي تم إنشاؤها عن طريق تغذية المربعات والتسميات المحيطة بالنموذج بجانب موجه النص. فهو يحول النص المبهم إلى صورة إلى تركيب دقيق يمكن التحكم فيه بالتخطيط.
ينتمي GLIGEN Grounded Generation إلى مسارات عمل الرؤية الحاسوبية التي تفسر أو تولد وسائط مرئية للتحليل والعمليات والإبداع.
الغوص العميق
تواجه نماذج تحويل النص إلى صورة القياسية صعوبة في التحكم المكاني: فاطلب "قطة على يسار الكلب" وغالبًا ما تخطئ في تحديد الموضع. يعمل GLIGEN، الذي تم تقديمه في عام 2023، على حل هذه المشكلة عن طريق إضافة مدخلات التأريض مثل المربعات المحيطة المقترنة بكيانات النص أو الصورة أو النقاط الرئيسية أو الصور المرجعية. والأهم من ذلك، أنه يجمد أوزان نموذج النشر الأصلي المُدرب مسبقًا ويحقن طبقات جديدة من الاهتمام الذاتي قابلة للتدريب والتي تمتص رموز التأريض. وهذا يعني أنه يعتمد على نموذج مثل Stable Diffusion دون تدمير المعرفة المكتسبة، ويبدأ البوابات بالقرب من الصفر بحيث يتم الحفاظ على سلوك النموذج الأساسي في وقت مبكر من التدريب. والنتيجة هي إنشاء عالم مفتوح مؤرض: يمكنك وضع كائنات موصوفة بشكل عشوائي في مواقع محددة، ويتم تعميمها على المفاهيم والتخطيطات التي لم تتم رؤيتها أثناء التدريب على التأريض.
البصيرة الفنية
تمثل GLIGEN كل كيان أساسي كرمز يجمع بين النص أو الصورة المضمنة ومعلوماته المكانية، مثل الإحداثيات الأربعة للمربع المحيط المشفر عبر ميزات فورييه. تدخل رموز التأريض هذه إلى شبكة U-Net المنتشرة المجمدة من خلال طبقات الاهتمام الذاتي المُدخلة حديثًا الموضوعة بين كتل الانتباه الذاتي والانتباه المتبادل الموجودة. تتحكم البوابة القابلة للتعلم، التي تمت تهيئتها إلى الصفر، في مدى تأثير التأريض على التوليد، لذا فإن إضافة التحكم تتحلل بشكل رائع ويظل التدريب مستقرًا.
إتقان الجيل الأرضي من GLIGEN
يتيح لك GLIGEN (إنشاء اللغة المؤرضة إلى الصورة) التحكم الدقيق في مكان ظهور الكائنات في الصورة التي تم إنشاؤها عن طريق تغذية المربعات والتسميات المحيطة بالنموذج بجانب موجه النص. فهو يحول النص المبهم إلى صورة إلى تركيب دقيق يمكن التحكم فيه بالتخطيط. ينتمي GLIGEN Grounded Generation إلى مسارات عمل الرؤية الحاسوبية التي تفسر أو تولد وسائط مرئية للتحليل والعمليات والإبداع. لبناء فهم عميق، تعامل مع GLIGEN Grounded Generation كنموذج تشغيل، وليس كميزة واحدة: حدد النتائج المرغوبة، ووضح الافتراضات، وافصل ما يمكن للنظام القيام به بشكل موثوق عما لا يزال يتطلب حكم الخبراء.
من الناحية العملية، تعمل الفرق القوية التي تستخدم GLIGEN Grounded Generation على موازنة الدقة مع الحقائق التشغيلية مثل جودة البيانات، وتباين الإضاءة، واتساق الملصقات. وهي تقوم بتوثيق معايير نجاح واضحة، واختبارها مقابل بيانات واقعية وسير العمل، والتكرار بناءً على أنماط الفشل الملحوظة بدلاً من الانتصارات المعيارية لمرة واحدة. وهذا هو المكان الذي يتحول فيه الفهم النظري إلى قدرة دائمة عبر المنتج والسياسة والعمليات.
يمكن للذكاء الاصطناعي المرئي أتمتة مهام الفحص والكشف ووضع العلامات على نطاق واسع. وفي الوقت نفسه، يمكن أن تصبح حقوق الصور والموافقة مخاطر قانونية إذا كان المصدر غير واضح. ويتمثل النهج الأكثر مرونة في الجمع بين سرعة التجريب وانضباط الحوكمة: تشغيل البرامج التجريبية، والتقاط الأدلة، ونشر سجلات القرارات، وتحديث الضمانات بشكل مستمر مع تطور سلوك النموذج، وتوقعات المستخدم، والمتطلبات التنظيمية.
التأثير الاستراتيجي
يمكن للذكاء الاصطناعي المرئي أتمتة مهام الفحص والكشف ووضع العلامات على نطاق واسع.
يمكن للذكاء الاصطناعي المرئي أتمتة مهام الفحص والكشف ووضع العلامات على نطاق واسع. وفي عمليات النشر عالية الجودة، تتم ترجمة ذلك إلى قواعد تشغيل قابلة للقياس، وحدود ملكية، وطقوس مراجعة متكررة حتى تتمكن الفرق من توسيع نطاق الثقة بدلاً من توسيع نطاق الغموض.
يمكن للفرق الإبداعية إنشاء نماذج أولية للمفاهيم بشكل أسرع مع عدد أقل من المراجعات اليدوية.
يمكن للفرق الإبداعية إنشاء نماذج أولية للمفاهيم بشكل أسرع مع عدد أقل من المراجعات اليدوية. وفي عمليات النشر عالية الجودة، تتم ترجمة ذلك إلى قواعد تشغيل قابلة للقياس، وحدود ملكية، وطقوس مراجعة متكررة حتى تتمكن الفرق من توسيع نطاق الثقة بدلاً من توسيع نطاق الغموض.
يمكن أن تستخدم العمليات إشارات الصور والفيديو التي كان من الصعب معالجتها في السابق.
يمكن أن تستخدم العمليات إشارات الصور والفيديو التي كان من الصعب معالجتها في السابق. وفي عمليات النشر عالية الجودة، تتم ترجمة ذلك إلى قواعد تشغيل قابلة للقياس، وحدود ملكية، وطقوس مراجعة متكررة حتى تتمكن الفرق من توسيع نطاق الثقة بدلاً من توسيع نطاق الغموض.
التنفيذ في العالم الحقيقي
وضع شعار أو منتج في منطقة محددة من الإعلان الذي تم إنشاؤه باستخدام المربع المحيط
إنشاء مشاهد معقدة عن طريق تحديد المكان الذي يجب أن يوضع فيه كل حرف أو كائن قبل العرض
إنشاء بيانات تدريب للكشف عن الأشياء باستخدام مواقع صناديق الحقيقة الأرضية المعروفة
رسم كائن موصوف في منطقة مرسومة بواسطة المستخدم من صورة موجودة
أنماط التنفيذ
GLIGEN الجيل الأرضي في الممارسة العملية
وضع شعار أو منتج في منطقة محددة من الإعلان الذي تم إنشاؤه باستخدام المربع المحيط.
وضع شعار أو منتج في منطقة محددة من الإعلان الذي تم إنشاؤه باستخدام مربع محيط، عادةً ما تحصل الفرق على نتائج أفضل عندما تحدد حدود الجودة مقدمًا، وتحتفظ بمسار تصعيد بشري لحالات الحافة، وتتتبع مكاسب الإنتاجية وتكاليف الأخطاء بمرور الوقت.
GLIGEN الجيل الأرضي في الممارسة العملية
إنشاء مشاهد معقدة عن طريق تحديد المكان الذي يجب أن يوضع فيه كل حرف أو كائن قبل العرض.
إنشاء مشاهد معقدة عن طريق تحديد المكان الذي يجب أن يجلس فيه كل حرف أو كائن قبل العرض عادةً ما تحصل الفرق على نتائج أفضل عندما تحدد حدود الجودة مقدمًا، وتحتفظ بمسار تصعيد بشري لحالات الحافة، وتتتبع مكاسب الإنتاجية وتكاليف الأخطاء بمرور الوقت.
GLIGEN الجيل الأرضي في الممارسة العملية
إنشاء بيانات تدريب للكشف عن الأشياء باستخدام مواقع صناديق الحقيقة الأرضية المعروفة.
إنشاء بيانات تدريب لاكتشاف الكائنات باستخدام مواقع صندوق الحقيقة الأرضية المعروفة عادةً ما تحصل الفرق على نتائج أفضل عندما تحدد حدود الجودة مقدمًا، وتحتفظ بمسار تصعيد بشري لحالات الحافة، وتتتبع مكاسب الإنتاجية وتكاليف الأخطاء بمرور الوقت.
GLIGEN الجيل الأرضي في الممارسة العملية
رسم كائن موصوف في منطقة مرسومة بواسطة المستخدم من صورة موجودة.
طلاء كائن موصوف في منطقة رسمها المستخدم من صورة موجودة عادةً ما تحصل الفرق على نتائج أفضل عندما تحدد حدود الجودة مقدمًا، وتحتفظ بمسار تصعيد بشري لحالات الحافة، وتتتبع مكاسب الإنتاجية وتكاليف الأخطاء بمرور الوقت.
المخاطر والدرابزين
يمكن أن تصبح حقوق الصور والموافقة مخاطر قانونية إذا كان المصدر غير واضح.
يمكن أن يختلف أداء النموذج عبر الإضاءة والتركيبة السكانية والبيئات.
قد تمر الإيجابيات الكاذبة دون أن يلاحظها أحد ما لم تتم مراقبة عتبات الثقة.
خارطة طريق التنفيذ
تحديد معايير القبول لتكاليف الدقة والاستدعاء والخطأ.
تحديد معايير القبول لتكاليف الدقة والاستدعاء والخطأ. تعامل مع كل خطوة كبوابة دليل: إذا لم يتم استيفاء المعايير، قم بإيقاف التشغيل مؤقتًا، وسد الفجوة، وبعد ذلك فقط قم بتوسيع الاستخدام.
اختبار مع البيانات التي تتوافق مع ظروف الإنتاج الحقيقية.
اختبار مع البيانات التي تتوافق مع ظروف الإنتاج الحقيقية. تعامل مع كل خطوة كبوابة دليل: إذا لم يتم استيفاء المعايير، قم بإيقاف التشغيل مؤقتًا، وسد الفجوة، وبعد ذلك فقط قم بتوسيع الاستخدام.
أضف مراجعة بشرية للتنبؤات منخفضة الثقة أو عالية التأثير.
أضف مراجعة بشرية للتنبؤات منخفضة الثقة أو عالية التأثير. تعامل مع كل خطوة كبوابة دليل: إذا لم يتم استيفاء المعايير، قم بإيقاف التشغيل مؤقتًا، وسد الفجوة، وبعد ذلك فقط قم بتوسيع الاستخدام.
تتبع انحراف النموذج وإعادة التحقق من صحته بعد تغيير الكاميرا أو مجموعة البيانات.
تتبع انحراف النموذج وإعادة التحقق من صحته بعد تغيير الكاميرا أو مجموعة البيانات. تعامل مع كل خطوة كبوابة دليل: إذا لم يتم استيفاء المعايير، قم بإيقاف التشغيل مؤقتًا، وسد الفجوة، وبعد ذلك فقط قم بتوسيع الاستخدام.