ডিফিউশন ট্রান্সফরমার

This architecture powers leading systems like Stable Diffusion 3 and OpenAI's Sora, and it scales remarkably well as you add compute.

ডিফিউশন মডেলগুলি বিশুদ্ধ শব্দ থেকে শুরু করে এবং পুনরাবৃত্তভাবে এটিকে একটি সুসংগত ছবিতে অস্বীকার করে চিত্র তৈরি করে। বছরের পর বছর ধরে যে নেটওয়ার্কটি ডিনোইসিং করছে তা ছিল একটি ইউ-নেট, একটি বিবর্তনীয় স্থাপত্য। ডিফিউশন ট্রান্সফরমার, 2022 সালে Peebles এবং Xie দ্বারা প্রবর্তিত, একটি ট্রান্সফরমার দিয়ে U-Net প্রতিস্থাপন করে। চিত্রটি প্রথমে একটি সুপ্ত স্থানে সংকুচিত হয়, ছোট প্যাচগুলিতে বিভক্ত হয় এবং প্রতিটি প্যাচ একটি টোকেন হয়ে ওঠে, অনেকটা ভাষার মডেলের শব্দের মতো। ট্রান্সফরমার তারপর প্রতিটি ডিনোইসিং ধাপে স্ব-মনোযোগ সহ এই টোকেনগুলি প্রক্রিয়া করে। একটি মূল অনুসন্ধান ছিল যে আপনি পরিষ্কার স্কেলিং আইন অনুসরণ করে মডেলের আকার বাড়াতে এবং প্যাচের আকার হ্রাস করার সাথে সাথে ডিআইটি কর্মক্ষমতা অনুমানযোগ্যভাবে উন্নত হয়। এই মাপযোগ্যতার কারণেই টেক্সট-টু-ভিডিও এবং হাই-এন্ড টেক্সট-টু-ইমেজ সিস্টেমগুলি মূলত ট্রান্সফরমার ব্যাকবোনে স্থানান্তরিত হয়েছে।