Stabilna dyfuzja utajona dźwięku
Stable Audio to system zamiany tekstu na dźwięk opracowany przez Stability AI, który wykorzystuje utajoną dyfuzję do generowania muzyki i efektów dźwiękowych, z wyraźną kontrolą długości klipu.
Przegląd
Ma znaczenie, ponieważ wprowadziło twórcom generowanie dźwięku oparte na dyfuzji, świadome czasu, licencjonowane komercyjnie.
Głębokie nurkowanie
Stable Audio, wprowadzone na rynek przez Stability AI w 2023 r., generuje muzykę stereo i efekty dźwiękowe z komunikatów tekstowych przy użyciu utajonego dyfuzji, tej samej rodziny technik stosowanych w modelach obrazu, takich jak Stable Diffusion. Zamiast odszumiać piksele obrazu, odszumia skompresowaną, ukrytą reprezentację dźwięku utworzoną przez wariacyjny autokoder. Cechą charakterystyczną jest warunkowanie czasowe: podczas treningu model otrzymuje sygnały rozpoczęcia i całkowitego czasu trwania, dzięki czemu użytkownicy mogą zamówić klipy o określonej długości, w tym pełnometrażowe struktury muzyczne z wstępami i zakończeniami. Wydana w 2024 r. wersja Stable Audio 2.0 umożliwia tworzenie spójnych ścieżek o długości do około trzech minut przy częstotliwości stereo 44,1 kHz i obsługuje transformację dźwięku na dźwięk. Został przeszkolony w zakresie licencjonowanej muzyki w celu obsługi komercyjnego wykorzystania.
Wgląd techniczny
System składa się z trzech części: VAE, który koduje dźwięk stereo 44,1 kHz w zwartą utajoną sekwencję, koder tekstu (model w stylu CLAP lub model oparty na T5), który osadza zachętę, oraz transformator dyfuzyjny (lub U-Net), który uczy się odwracać proces szumu w przestrzeni utajonej. Generowanie warunku osadzania czasowego na żądanym początku i czasie trwania. Podsumowując, model odszumia losowy ukryty szum kierowany przez tekst, a następnie dekoder VAE rekonstruuje kształt fali.
Wpływ strategiczny
Dostęp i zasięg
Poprawia dostępność poprzez transkrypcję, narrację i interfejsy głosowe.
Koszt i budżet
Zespoły medialne mogą szybciej dostarczać dopracowany dźwięk przy mniejszych budżetach.
Szybkość i skala
Systemy skierowane do klienta mogą przetwarzać interakcje mówione na większą skalę.
Przyszłość stabilnej dyfuzji ukrytego dźwięku
Utajona dyfuzja dźwięku zmierza w kierunku dłuższych, bardziej ustrukturyzowanych kompozycji, lepszej kontroli poziomu łodygi i instrumentu oraz szybszego próbkowania poprzez destylację. Spodziewaj się ściślejszej integracji z oprogramowaniem do produkcji muzyki, generowania w czasie rzeczywistym i etycznych narzędzi związanych z licencjonowaniem danych szkoleniowych i zgodą artysty. W miarę poprawy synchronizacji i kondycjonowania twórcy będą precyzyjniej kierować aranżacją, tempem i przejściami, a edycja audio na audio pozwoli użytkownikom przekształcać istniejące nagrania, zachowując rytm i styl.
Implementacja w świecie rzeczywistym
Generowanie bezpłatnej muzyki w tle o dokładnej długości dla filmów i reklam
Tworzenie zapętlonych ścieżek dźwiękowych do gier i aplikacji na podstawie opisów tekstowych
Tworzenie niestandardowych efektów dźwiękowych i stingerów do podcastów i zwiastunów
Przekształcanie istniejącego klipu audio w nowy styl za pomocą podpowiedzi audio-to-audio
Zagrożenia i poręcze
W przypadku braku zgody zwiększa się ryzyko niewłaściwego użycia głosu i podszywania się pod inne osoby.
Dokładność może spaść w przypadku akcentów, dialektów lub hałaśliwego otoczenia.
Bez wyraźnego oznakowania dźwięk syntetyczny można pomylić z autentyczną mową.
Plan wdrożenia
Uzyskaj wyraźną zgodę na przechwytywanie, klonowanie i ponowne wykorzystanie głosu.
Testuj jakość na różnych głośnikach i w różnych warunkach otoczenia.
Zdefiniuj, kiedy człowiek musi przejrzeć lub zatwierdzić wyniki.
Oznacz dźwięk syntetyczny i prowadź dokumentację pochodzenia w celu zapewnienia odpowiedzialności.
Odkrywaj dalej
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Stable Audio Latent Diffusion quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Następny poradnik
Modele dyfuzyjne dla dźwięku
Często zadawane pytania
Czym jest stabilna dyfuzja utajona dźwięku?
Stable Audio to system zamiany tekstu na dźwięk opracowany przez Stability AI, który wykorzystuje utajoną dyfuzję do generowania muzyki i efektów dźwiękowych, z wyraźną kontrolą długości klipu. Ma to znaczenie, ponieważ umożliwiło twórcom generowanie dźwięku opartego na rozpowszechnianiu, uwzględniającego czas i licencjonowanego komercyjnie.
Jakiej podstawowej techniki używa Stable Audio do generowania dźwięku?
Stable Audio wykorzystuje utajoną dyfuzję, odszumiając skompresowaną ukrytą reprezentację dźwięku, a nie surowe piksele lub próbki.
Jaką wyjątkową kontrolę oferuje Stable Audio, której brakowało wielu wcześniejszym modelom?
Kondycjonowanie czasowe pozwala użytkownikom zażądać dźwięku o określonej długości, umożliwiając pełne ścieżki z odpowiednimi wstępami i zakończeniami.
Jaki komponent kompresuje surowy dźwięk w ukrytą reprezentację?
VAE koduje dźwięk stereo 44,1 kHz w zwartą sekwencję ukrytą, a później dekoduje go z powrotem do postaci fali.
Jakie nowe możliwości dodał Stable Audio 2.0 w 2024 roku?
Stable Audio 2.0 wydłużyło długość pełnych ścieżek do około trzech minut i wprowadziło transformacje audio-to-audio.
Podsumowując, w jaki sposób Stable Audio rozpoczyna proces generowania?
Dyfuzja rozpoczyna się od losowego szumu w przestrzeni ukrytej i iteracyjnie go odszumia zgodnie z uwarunkowaniem tekstu.