प्रसार ट्रांसफार्मर

This architecture powers leading systems like Stable Diffusion 3 and OpenAI's Sora, and it scales remarkably well as you add compute.

डिफ्यूज़न मॉडल शुद्ध शोर से शुरू करके और इसे एक सुसंगत चित्र में पुनरावृत्त रूप से निरूपित करके छवियां उत्पन्न करते हैं। वर्षों से यह दर्शाने वाला नेटवर्क एक यू-नेट, एक दृढ़ वास्तुकला था। 2022 में पीबल्स और झी द्वारा पेश किया गया डिफ्यूजन ट्रांसफार्मर, यू-नेट को ट्रांसफार्मर से बदल देता है। छवि को पहले एक अव्यक्त स्थान में संपीड़ित किया जाता है, छोटे पैच में विभाजित किया जाता है, और प्रत्येक पैच एक टोकन बन जाता है, भाषा मॉडल में शब्दों की तरह। फिर ट्रांसफॉर्मर प्रत्येक डीनोइजिंग चरण पर इन टोकन को आत्म-ध्यान के साथ संसाधित करता है। एक प्रमुख खोज यह थी कि जैसे-जैसे आप स्वच्छ स्केलिंग कानूनों का पालन करते हुए मॉडल आकार बढ़ाते हैं और पैच आकार कम करते हैं, डीआईटी प्रदर्शन में अनुमानित रूप से सुधार होता है। इस स्केलेबिलिटी के कारण टेक्स्ट-टू-वीडियो और हाई-एंड टेक्स्ट-टू-इमेज सिस्टम बड़े पैमाने पर ट्रांसफॉर्मर बैकबोन में स्थानांतरित हो गए हैं।