محولات الانتشار

تعمل هذه البنية على تشغيل أنظمة رائدة مثل Stable Diffusion 3 وOpenAI's Sora، وتتطور بشكل ملحوظ عند إضافة الحوسبة.

تولد نماذج الانتشار الصور عن طريق البدء من الضوضاء النقية وتقليل الضوضاء بشكل متكرر إلى صورة متماسكة. لسنوات عديدة، كانت الشبكة التي تقوم بهذا التقليل من الضوضاء عبارة عن شبكة U-Net، وهي عبارة عن بنية تلافيفية. محول الانتشار، الذي قدمه Peebles وXie في عام 2022، يستبدل U-Net بمحول. يتم ضغط الصورة أولاً في مساحة كامنة، ثم يتم تقسيمها إلى بقع صغيرة، وتصبح كل رقعة رمزًا مميزًا، تشبه إلى حد كبير الكلمات في نموذج اللغة. يقوم المحول بعد ذلك بمعالجة هذه الرموز المميزة مع الاهتمام الذاتي في كل خطوة لتقليل الضوضاء. وكان أحد النتائج الرئيسية هو أن أداء DiT يتحسن بشكل متوقع مع زيادة حجم النموذج وتقليل حجم التصحيح، وذلك باتباع قوانين القياس النظيف. إن قابلية التوسع هذه هي السبب وراء انتقال أنظمة تحويل النص إلى فيديو وأنظمة تحويل النص إلى صورة المتطورة إلى حد كبير إلى العمود الفقري للمحول.