Spektrogram dyfuzyjny Dyfuzja
Riffusion to sprytny trik, który generuje muzykę, traktując dźwięk jak obraz: dostraja model obrazu Stable Diffusion, aby malować spektrogramy, a następnie konwertuje te obrazy z powrotem na dźwięk.
Przegląd
It matters because it shows a tool built for one medium (images) can produce another (music) with almost no new architecture.
Głębokie nurkowanie
Riffusion, wydany pod koniec 2022 roku przez Setha Forsgrena i Hayka Martirosa, zaczął się jako projekt hobbystyczny. Podstawowa sztuczka: spektrogram to obraz 2D, w którym oś pozioma to czas, oś pionowa to częstotliwość, a jasność pikseli to głośność. Ponieważ Stable Diffusion generuje już obrazy na podstawie podpowiedzi tekstowych, twórcy dopracowali je na podstawie tysięcy sparowanych przykładów spektrogramu i tekstu. Poproś go o „funky jazz bass”, a odszumi losowe szumy i przekształci je w spektrogram tego dźwięku. Aby dźwięk był odtwarzalny, Riffusion przepuszcza spektrogram za pomocą algorytmu Griffina-Lima, który rekonstruuje brakujące informacje o fazie. Ponieważ dyfuzja może płynnie interpolować pomiędzy monitami, Riffusion może także przekształcać jeden styl w inny w ramach ciągłego klipu, płynnie zapętlając.
Wgląd techniczny
Riffusion ponownie wykorzystuje utajony potok dyfuzyjny w niezmienionej postaci: U-Net iteracyjnie usuwa szum Gaussa z ukrytego obrazu uwarunkowanego osadzeniem tekstu CLIP. Jedyną pracą specyficzną dla domeny jest reprezentacja spektrogramu (skala mel, moc logarytmiczna) i rekonstrukcja fazy Griffina-Lima, która przekształca spektrogram przewidywanej wielkości z powrotem w kształt fali. Faza jest odrzucana podczas kodowania, więc iteracyjna estymacja Griffina-Lima jest głównym źródłem charakterystycznych „wodnistych” artefaktów.
Wpływ strategiczny
Dostęp i zasięg
Poprawia dostępność poprzez transkrypcję, narrację i interfejsy głosowe.
Koszt i budżet
Zespoły medialne mogą szybciej dostarczać dopracowany dźwięk przy mniejszych budżetach.
Szybkość i skala
Systemy skierowane do klienta mogą przetwarzać interakcje mówione na większą skalę.
Przyszłość dyfuzji spektrogramu dyfuzyjnego
Firma Riffusion udowodniła, że most spektrogramu jako obrazu działa i pomysł ten jest obecnie realizowany w większych systemach audio, a firma stała się Riffusion. Można się spodziewać, że przyszłe narzędzia zastąpią stratny Griffin-Lim wyuczonymi wokoderami neuronowymi w celu uzyskania czystszej fazy i połączą dyfuzję spektrogramu z ukrytymi kodekami audio. Szerszy wniosek, że modele obrazu można przekierować do nowych modalności, w dalszym ciągu wpływa na sposób, w jaki badacze ładują generatory audio i wideo z istniejących, wstępnie wyszkolonych szkieletów.
Implementacja w świecie rzeczywistym
Generowanie krótkich, zapętlonych ścieżek tła dla niezależnych gier wideo z podpowiedzi tekstowych, takich jak „napięty pościg synthwave”
Płynnie przechodząc pomiędzy dwoma stylami muzycznymi, m.in. połączenie „tropikalnego domu” z „hiphopem lo-fi” w jednym klipie
Produkcja bezpłatnych podkładów muzycznych do filmów i podcastów na YouTube bez opłat licencyjnych
Prototypowanie pomysłów melodycznych lub rytmicznych, które muzyk następnie ponownie nagrywa na cyfrowej stacji roboczej audio
Zagrożenia i poręcze
W przypadku braku zgody zwiększa się ryzyko niewłaściwego użycia głosu i podszywania się pod inne osoby.
Dokładność może spaść w przypadku akcentów, dialektów lub hałaśliwego otoczenia.
Bez wyraźnego oznakowania dźwięk syntetyczny można pomylić z autentyczną mową.
Plan wdrożenia
Uzyskaj wyraźną zgodę na przechwytywanie, klonowanie i ponowne wykorzystanie głosu.
Testuj jakość na różnych głośnikach i w różnych warunkach otoczenia.
Zdefiniuj, kiedy człowiek musi przejrzeć lub zatwierdzić wyniki.
Oznacz dźwięk syntetyczny i prowadź dokumentację pochodzenia w celu zapewnienia odpowiedzialności.
Odkrywaj dalej
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Riffusion Spectrogram Diffusion quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Następny poradnik
Wokoder dyfuzyjny DiffWave
Często zadawane pytania
What is Riffusion Spectrogram Diffusion?
Riffusion to sprytny trik, który generuje muzykę, traktując dźwięk jak obraz: dostraja model obrazu Stable Diffusion, aby malować spektrogramy, a następnie konwertuje te obrazy z powrotem na dźwięk. Ma to znaczenie, ponieważ pokazuje, że narzędzie zbudowane dla jednego medium (obrazów) może wygenerować inne (muzykę) prawie bez nowej architektury.
Jaki istniejący model sztucznej inteligencji dopracował Riffusion do generowania muzyki?
Riffusion udoskonalił Stable Diffusion, model dyfuzji obrazu, w celu generowania obrazów spektrogramów, które następnie są konwertowane na dźwięk.
Co przedstawia spektrogram na swoich dwóch osiach?
Na spektrogramie oś pozioma to czas, oś pionowa to częstotliwość, a jasność reprezentuje głośność.
Dlaczego Riffusion potrzebuje algorytmu takiego jak Griffin-Lim?
Spektrogram przechowuje wielkość, ale odrzuca fazę, więc Griffin-Lim iteracyjnie szacuje fazę, aby odbudować możliwy do odtworzenia przebieg.
Jakie możliwości daje dyfuzja Riffusion podczas łączenia dwóch podpowiedzi?
Modele dyfuzji mogą interpolować w przestrzeni ukrytej, pozwalając Riffusion na ciągłe przekształcanie się z jednego stylu muzycznego w inny.
Jak pierwotnie stworzono i wydano Riffusion?
Riffusion powstał jako hobbystyczny projekt Setha Forsgrena i Hayka Martirosa, a jego premiera miała miejsce pod koniec 2022 roku.