विज़ुअल एआई गाइड
प्रसार ट्रांसफार्मर
डिफ्यूजन ट्रांसफॉर्मर (DiTs) ट्रांसफॉर्मर बैकबोन के लिए छवि और वीडियो जनरेटर के केंद्र में कन्वेन्शनल यू-नेट को स्वैप करते हैं।
इस गाइड को सुनेंएआई-नैरेटेड · ~2 min
इस पृष्ठ पर2 मिनट लाल
सिंहावलोकन
This architecture powers leading systems like Stable Diffusion 3 and OpenAI's Sora, and it scales remarkably well as you add compute.
गहरा गोता
डिफ्यूज़न मॉडल शुद्ध शोर से शुरू करके और इसे एक सुसंगत चित्र में पुनरावृत्त रूप से निरूपित करके छवियां उत्पन्न करते हैं। वर्षों से यह दर्शाने वाला नेटवर्क एक यू-नेट, एक दृढ़ वास्तुकला था। 2022 में पीबल्स और झी द्वारा पेश किया गया डिफ्यूजन ट्रांसफार्मर, यू-नेट को ट्रांसफार्मर से बदल देता है। छवि को पहले एक अव्यक्त स्थान में संपीड़ित किया जाता है, छोटे पैच में विभाजित किया जाता है, और प्रत्येक पैच एक टोकन बन जाता है, भाषा मॉडल में शब्दों की तरह। फिर ट्रांसफॉर्मर प्रत्येक डीनोइजिंग चरण पर इन टोकन को आत्म-ध्यान के साथ संसाधित करता है। एक प्रमुख खोज यह थी कि जैसे-जैसे आप स्वच्छ स्केलिंग कानूनों का पालन करते हुए मॉडल आकार बढ़ाते हैं और पैच आकार कम करते हैं, डीआईटी प्रदर्शन में अनुमानित रूप से सुधार होता है। इस स्केलेबिलिटी के कारण टेक्स्ट-टू-वीडियो और हाई-एंड टेक्स्ट-टू-इमेज सिस्टम बड़े पैमाने पर ट्रांसफॉर्मर बैकबोन में स्थानांतरित हो गए हैं।
वास्तविक विश्व कार्यान्वयन
OpenAI का Sora टेक्स्ट प्रॉम्प्ट से मिनट-लंबे, उच्च-निष्ठा वाले वीडियो बनाने के लिए स्पेसटाइम पैच पर ट्रांसफॉर्मर बैकबोन का उपयोग करता है।
स्टेबल डिफ्यूजन 3 विस्तृत पाठ विवरण के साथ उत्पन्न छवियों को बेहतर ढंग से संरेखित करने के लिए मल्टीमॉडल डिफ्यूजन ट्रांसफार्मर (एमएमडीआईटी) को अपनाता है।
शोधकर्ता डीआईटी को अरबों मापदंडों तक मापते हैं और गणना-बजट निर्णयों का मार्गदर्शन करते हुए, छवि गुणवत्ता में अनुमानित रूप से सुधार देखते हैं।
एक स्टूडियो छोटी क्लिप का विस्तार करने के लिए डीआईटी-आधारित मॉडल का उपयोग करता है, अतिरिक्त वीडियो फ्रेम को अतिरिक्त पैच टोकन के रूप में मानता है।
डिफ्यूजन ट्रांसफार्मर का भविष्य
डिफ्यूजन ट्रांसफॉर्मर जनरेटिव मीडिया के लिए डिफ़ॉल्ट रीढ़ बन रहे हैं। उनका टोकन-आधारित डिज़ाइन उन्हें एक स्केलेबल आर्किटेक्चर के तहत छवियों, वीडियो और यहां तक कि मल्टीमॉडल पीढ़ी को एकीकृत करने के लिए स्वाभाविक बनाता है। अनुसंधान कई टोकन की द्विघात लागत को कम करने के लिए लंबे वीडियो, उच्च रिज़ॉल्यूशन और अधिक कुशल ध्यान देने पर जोर दे रहा है। भाषा और दृष्टि मॉडल के बीच अभिसरण की अपेक्षा करें, जहां समान ट्रांसफार्मर स्केलिंग रेसिपी और बुनियादी ढांचा दोनों की सेवा करते हैं, जिससे विश्व मॉडल और इंटरैक्टिव वीडियो में प्रगति में तेजी आती है।
इसे व्यवहार में लाना
यह क्यों मायने रखता है?
- गति और पैमाना. विज़ुअल एआई बड़े पैमाने पर निरीक्षण, पता लगाने और टैगिंग कार्यों को स्वचालित कर सकता है।
- विकल्प बनाएं. रचनात्मक टीमें कम मैन्युअल संशोधनों के साथ तेजी से अवधारणाओं का प्रोटोटाइप बना सकती हैं।
- टीम और वर्कफ़्लो. संचालन छवि और वीडियो संकेतों का उपयोग कर सकते हैं जिन्हें संसाधित करना पहले कठिन था।
का ध्यान रखें
- यदि उत्पत्ति अस्पष्ट है तो छवि अधिकार और सहमति कानूनी जोखिम बन सकते हैं।
- मॉडल का प्रदर्शन प्रकाश व्यवस्था, जनसांख्यिकी और वातावरण के अनुसार भिन्न हो सकता है।
- जब तक आत्मविश्वास की सीमा की निगरानी नहीं की जाती, तब तक झूठी सकारात्मक बातों पर ध्यान नहीं दिया जा सकता।
अगले चरण
- सटीकता, रिकॉल और त्रुटि लागत के लिए स्वीकृति मानदंड परिभाषित करें।
- वास्तविक उत्पादन स्थितियों से मेल खाने वाले डेटा के साथ परीक्षण करें।
- कम-आत्मविश्वास या उच्च-प्रभाव वाली भविष्यवाणियों के लिए मानवीय समीक्षा जोड़ें।
- कैमरा या डेटासेट में बदलाव के बाद मॉडल बहाव को ट्रैक करें और पुनः सत्यापित करें।
अन्वेषण करते रहें
मुफ़्त न्यूज़लेटर
दैनिक एआई ब्रीफिंग प्राप्त करें
हर कार्यदिवस की सुबह तीन सत्यापित एआई कहानियाँ, सादे अंग्रेजी में लिखी गईं। हमेशा के लिए मुफ़्त, कोई विज्ञापन नहीं।
प्रत्येक सप्ताह के दिन एक ईमेल. एक क्लिक में सदस्यता समाप्त करें. हम आपका पता कभी नहीं बेचते या साझा नहीं करते।
स्वयं की जांच करो
Take the Diffusion Transformers quiz
प्रत्येक उत्तर पर त्वरित प्रतिक्रिया, और पाठ्यक्रम पास करने के बाद एक सत्यापन योग्य आईडी के साथ एक साझा करने योग्य प्रमाणपत्र।
निःशुल्क एआई शिक्षा का समर्थन करें। AI Understanding एक 501(c)(3) गैर-लाभकारी संस्था है - कोई विज्ञापन नहीं, कोई पेवॉल नहीं। दान करें
अक्सर पूछे जाने वाले प्रश्नों
What is Diffusion Transformers?
डिफ्यूजन ट्रांसफॉर्मर (DiTs) ट्रांसफॉर्मर बैकबोन के लिए छवि और वीडियो जनरेटर के केंद्र में कन्वेन्शनल यू-नेट को स्वैप करते हैं। यह आर्किटेक्चर स्टेबल डिफ्यूजन 3 और OpenAI के Sora जैसे अग्रणी सिस्टम को शक्ति प्रदान करता है, और जब आप गणना जोड़ते हैं तो यह उल्लेखनीय रूप से अच्छी तरह से स्केल करता है।
पारंपरिक प्रसार मॉडल की तुलना में डिफ्यूजन ट्रांसफार्मर किस घटक को प्रतिस्थापित करता है?
DiTs, ट्रांसफ़ॉर्मर बैकबोन के साथ, यू-नेट, कन्वेन्शनल नेटवर्क जो डीनोइज़िंग करता है, को प्रतिस्थापित करता है।
एक DiT एक छवि को ऐसी चीज़ में कैसे बदल देता है जिसे ट्रांसफार्मर संसाधित कर सकता है?
अव्यक्त छवि को छोटे पैच में विभाजित किया गया है, और प्रत्येक पैच एक भाषा मॉडल में शब्दों के अनुरूप एक टोकन बन जाता है।
स्केलिंग के बारे में मूल डीआईटी पेपर में क्या पाया गया?
जैसे-जैसे आप मॉडल गणना बढ़ाते हैं और स्केलिंग कानूनों का पालन करते हुए छोटे पैच का उपयोग करते हैं, DiT गुणवत्ता में स्वच्छ, पूर्वानुमानित तरीके से सुधार होता है।
DiTs आम तौर पर टाइमस्टेप और टेक्स्ट प्रॉम्प्ट जैसी कंडीशनिंग कैसे इंजेक्ट करते हैं?
डीआईटी कंडीशनिंग सिग्नल से सामान्यीकरण परतों के पैमाने और बदलाव मापदंडों की भविष्यवाणी करने के लिए अनुकूली परत सामान्यीकरण का उपयोग करते हैं।
'एडीएएलएन-शून्य' आरंभीकरण क्या पूरा करता है?
adaLN-शून्य मॉड्यूलेशन को आरंभ करता है इसलिए प्रत्येक ब्लॉक शुरू में पहचान के रूप में कार्य करता है, जो प्रशिक्षण को स्थिर और बेहतर बनाता है।
सीखते रहो
संबंधित मार्गदर्शिकाएँ
इस विषय के लिए अधिक मार्गदर्शिकाएँ चुनी गईं