الترجمة غير المقترنة بـ CycleGAN
تتعلم CycleGAN ترجمة الصور بين مجالين مرئيين (مثل الخيول إلى الحمير الوحشية، أو الصور إلى اللوحات) دون الحاجة إلى أزواج أمثلة متطابقة قبل وبعد.
نظرة عامة
It matters because collecting paired training data is often impossible, and CycleGAN unlocks style transfer for messy real-world datasets.
الغوص العميق
تم تقديم CycleGAN في عام 2017 بواسطة Zhu وPark وIsola وEfros، وهو يعالج الترجمة غير المقترنة من صورة إلى صورة. كانت معظم الطرق السابقة (مثل pix2pix) تحتاج إلى أزواج دقيقة: نفس المشهد كصورة وكرسم تخطيطي. تزيل CycleGAN هذا المطلب باستخدام مولدين (G يحول المجال A إلى B، وF يحول B مرة أخرى إلى A) ومميزين يحكمان على الواقعية في كل مجال. والاختراق هو فقدان اتساق الدورة: إذا قمت بترجمة صورة حصان إلى حمار وحشي ثم قمت بترجمتها مرة أخرى، فيجب عليك استعادة الحصان الأصلي. يمنع هذا القيد المولد من اختراع مخرجات عشوائية ويفرض تعيينات ذات معنى تحافظ على المحتوى. من المعروف أنه يحول المناظر الطبيعية الصيفية إلى شتاء، ولوحات مونيه إلى صور، والتفاح إلى برتقال، وكلها تعلمت من مجموعتين من الصور غير المرتبطة.
البصيرة الفنية
يجمع CycleGAN بين خسارة الخصومة وخسارة اتساق الدورة. يواجه كل مولد أداة تمييز PatchGAN التي تصنف تصحيحات الصور المتداخلة على أنها حقيقية أو مزيفة بدلاً من الحكم على الصورة بأكملها. تفرض خسارة الدورة F(G(x)) about x وG(F(y)) about y باستخدام عقوبة إعادة البناء L1. يؤدي فقدان الهوية الاختياري إلى الحفاظ على اللون عندما تنتمي الصورة بالفعل إلى المجال الهدف. يتدرب كلا المولدين في وقت واحد، ويتعلمان الخرائط العكسية التي تحافظ على سلامة الهيكل.
التأثير الاستراتيجي
السرعة والحجم
يمكن للذكاء الاصطناعي المرئي أتمتة مهام الفحص والكشف ووضع العلامات على نطاق واسع.
خيارات البناء
يمكن للفرق الإبداعية إنشاء نماذج أولية للمفاهيم بشكل أسرع مع عدد أقل من المراجعات اليدوية.
الفريق وسير العمل
يمكن أن تستخدم العمليات إشارات الصور والفيديو التي كان من الصعب معالجتها في السابق.
مستقبل الترجمة غير المقترنة بـ CycleGAN
الفكرة الأساسية لـ CycleGAN، وهي اتساق الدورة، لا تزال موجودة في أعمال الترجمة الحديثة غير المقترنة، بما في ذلك الأساليب القائمة على الانتشار التي تستبدل العمود الفقري لـ GAN بنماذج تقليل الضوضاء بمخرجات أكثر وضوحًا وتنوعًا. يطبق الباحثون الآن الترجمة غير المقترنة على التصوير الطبي (تجميع طرائق المسح)، وتكييف المجال لنقل المحاكاة ذاتية القيادة إلى النقل الحقيقي، وزيادة البيانات. توقع تحكمًا أكثر صرامة فيما يتغير مقابل ما يظل ثابتًا، بالإضافة إلى الأساليب الهجينة التي تمزج قيود الدورة مع تحرير النشر المشروط بالنص.
التنفيذ في العالم الحقيقي
تحويل الصور الفوتوغرافية إلى أسلوب رسم مونيه أو فان جوخ أو سيزان بدون أمثلة مقترنة بالرسم الفوتوغرافي
تحويل صور المناظر الطبيعية الصيفية إلى مشاهد شتوية (والعكس صحيح) لإنشاء أصول الأفلام والألعاب
ترجمة فحوصات التصوير بالرنين المغناطيسي إلى صور تشبه الأشعة المقطعية في الأبحاث الطبية حيث لا تتوفر عمليات فحص المرضى المقترنة
تكييف لقطات محاكاة القيادة الاصطناعية لتبدو واقعية لتدريب إدراك المركبات ذاتية القيادة
المخاطر والدرابزين
يمكن أن تصبح حقوق الصور والموافقة مخاطر قانونية إذا كان المصدر غير واضح.
يمكن أن يختلف أداء النموذج عبر الإضاءة والتركيبة السكانية والبيئات.
قد تمر الإيجابيات الكاذبة دون أن يلاحظها أحد ما لم تتم مراقبة عتبات الثقة.
خارطة طريق التنفيذ
تحديد معايير القبول لتكاليف الدقة والاستدعاء والخطأ.
اختبار مع البيانات التي تتوافق مع ظروف الإنتاج الحقيقية.
أضف مراجعة بشرية للتنبؤات منخفضة الثقة أو عالية التأثير.
تتبع انحراف النموذج وإعادة التحقق من صحته بعد تغيير الكاميرا أو مجموعة البيانات.
استمر في الاستكشاف
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the CycleGAN Unpaired Translation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
الدليل التالي
Pix2Pix ترجمة الصور إلى الصور
الأسئلة المتداولة
What is CycleGAN Unpaired Translation?
تتعلم CycleGAN ترجمة الصور بين مجالين مرئيين (مثل الخيول إلى الحمير الوحشية، أو الصور إلى اللوحات) دون الحاجة إلى أزواج أمثلة متطابقة قبل وبعد. وهذا مهم لأن جمع بيانات التدريب المقترنة غالبًا ما يكون مستحيلًا، ويفتح CycleGAN نقل الأنماط لمجموعات البيانات الفوضوية في العالم الحقيقي.
ما هي المشكلة الرئيسية التي حلتها CycleGAN والتي لم تتمكن الطرق السابقة مثل pix2pix من حلها؟
تتمثل المساهمة الرئيسية لـ CycleGAN في الترجمة غير المقترنة، وتعلم التعيينات بين النطاقات من مجموعتين من الصور غير المرتبطة بدلاً من الأزواج الدقيقة.
ما الذي يفرضه فقدان اتساق الدورة؟
اتساق الدورة يعني أن F(G(x)) يجب أن تساوي x: يجب أن يبدو الحصان الذي تحول إلى حمار وحشي وظهره مثل الحصان الأصلي.
كم عدد المولدات التي يستخدمها CycleGAN القياسي؟
يستخدم CycleGAN مولدين، واحد لكل اتجاه ترجمة (من A إلى B ومن B إلى A)، بالإضافة إلى اثنين من أدوات التمييز.
ما نوع أداة التمييز التي يستخدمها CycleGAN عادةً؟
يستخدم CycleGAN أداة تمييز PatchGAN التي تحكم على التصحيحات المتداخلة على أنها حقيقية أو مزيفة، مما يشجع الواقعية المحلية.
لماذا تتم إضافة فقدان الهوية أحيانًا إلى CycleGAN؟
يؤدي فقدان الهوية إلى معاقبة التغييرات غير الضرورية عندما تكون الصورة موجودة بالفعل في المجال الهدف، مما يساعد في الحفاظ على الألوان والصبغة.