रिफ्यूजन स्पेक्ट्रोग्राम डिफ्यूजन

रिफ़्यूज़न एक चतुर हैक है जो ध्वनि को एक चित्र के रूप में मानकर संगीत उत्पन्न करता है: यह स्पेक्ट्रोग्राम को चित्रित करने के लिए स्थिर डिफ्यूज़न छवि मॉडल को ठीक करता है, फिर उन छवियों को वापस ऑडियो में परिवर्तित करता है। यह मायने रखता है क्योंकि यह दिखाता है कि एक माध्यम (छवियों) के लिए बनाया गया उपकरण लगभग बिना किसी नए आर्किटेक्चर के दूसरे (संगीत) का निर्माण कर सकता है।

सेठ फोर्सग्रेन और हेक मार्टिरोस द्वारा 2022 के अंत में रिलीज़ किया गया रिफ़्यूज़न, एक हॉबी प्रोजेक्ट के रूप में शुरू हुआ। मुख्य चाल: स्पेक्ट्रोग्राम एक 2डी छवि है जहां क्षैतिज अक्ष समय है, ऊर्ध्वाधर अक्ष आवृत्ति है, और पिक्सेल चमक प्रबलता है। चूंकि स्टेबल डिफ्यूजन पहले से ही टेक्स्ट प्रॉम्प्ट से छवियां उत्पन्न करता है, इसलिए रचनाकारों ने इसे हजारों युग्मित स्पेक्ट्रोग्राम-टेक्स्ट उदाहरणों पर ठीक से ट्यून किया है। इसे 'फंकी जैज़ बास' के साथ प्रेरित करें और यह उस ध्वनि के स्पेक्ट्रोग्राम में यादृच्छिक शोर को दर्शाता है। बजाने योग्य ऑडियो बनाने के लिए, रिफ़्यूज़न ग्रिफ़िन-लिम एल्गोरिदम के माध्यम से स्पेक्ट्रोग्राम चलाता है जो लापता चरण की जानकारी का पुनर्निर्माण करता है। चूँकि प्रसार संकेतों के बीच आसानी से अंतर्वेशित हो सकता है, रिफ़्यूज़न एक सतत क्लिप पर निर्बाध रूप से लूपिंग करते हुए एक शैली को दूसरे में रूपांतरित भी कर सकता है।