Szafa grająca
Jukebox to sieć neuronowa OpenAI na rok 2020, która generuje surowy dźwięk muzyczny — wraz ze śpiewającymi głosami, instrumentami, a nawet tekstami w stylu konkretnych artystów.
Przegląd
It was a landmark proof that AI could model the actual waveform of song-length music, not just notes.
Głębokie nurkowanie
Wydany przez OpenAI w kwietniu 2020 r. Jukebox generuje muzykę w postaci surowego dźwięku, a nie nut symbolicznych, co oznacza, że wytwarza rzeczywisty dźwięk, w tym wokale. Został przeszkolony na podstawie około 1,2 miliona piosenek (około połowa w języku angielskim) pobranych z Internetu, połączonych z tekstami i metadanymi z LyricWiki. Możesz uzależnić to od gatunku, stylu artysty i tekstu, a będzie śpiewać rozpoznawalnie (choć mgliście) jak ten artysta. Dane wyjściowe trwają kilka minut. Problem polega na szybkości i wierności: generowanie było niezwykle powolne, wyrenderowanie jednej minuty dźwięku trwało około dziewięciu godzin, a wyniki były stłumione i hałaśliwe. Jukebox był przedmiotem badań, a nie dopracowanego produktu, ale zmienił oczekiwania w stosunku do tego, co było możliwe.
Wgląd techniczny
Jukebox kompresuje surowy dźwięk za pomocą autoenkoderów VQ-VAE w trzech rozdzielczościach czasowych, zamieniając długi przebieg w znacznie krótszą sekwencję dyskretnych kodów. Transformatory autoregresyjne następnie przewidują te kody pojedynczo, w zależności od artysty, gatunku i tekstu, a moduły upsamplingu dodają szczegóły w zakresie wysokich częstotliwości. Dekodowanie kodów najniższego poziomu z powrotem do kształtu fali 44,1 kHz powoduje, że generowanie jest tak powolne, ponieważ miliony próbek audio muszą być produkowane sekwencyjnie.
Wpływ strategiczny
Dostęp i zasięg
Poprawia dostępność poprzez transkrypcję, narrację i interfejsy głosowe.
Koszt i budżet
Zespoły medialne mogą szybciej dostarczać dopracowany dźwięk przy mniejszych budżetach.
Szybkość i skala
Systemy skierowane do klienta mogą przetwarzać interakcje mówione na większą skalę.
Przyszłość szafy grającej
Jukebox sam w sobie jest obecnie w dużej mierze historycznym kamieniem milowym, zastąpionym szybszym rozpowszechnianiem i modelami ukrytego dźwięku, takimi jak te stojące za Suno i Udio, które w ciągu kilku sekund generują utwory o jakości zbliżonej do CD. Jego podstawowe idee — dyskretne tokeny dźwiękowe i warunkowanie tekstu — są nadal obecne w nowoczesnych systemach. Spodziewaj się, że przyszłe modele surowego dźwięku będą nadal skracać czas generowania, wyostrzać klarowność głosu i dodawać precyzyjną kontrolę, podczas gdy pytania dotyczące praw autorskich, które Jukebox po raz pierwszy zadał w związku z szkoleniem na nagraniach chronionych prawem autorskim, stają się coraz głośniejsze.
Implementacja w świecie rzeczywistym
Naukowcy badający, w jaki sposób sieci neuronowe mogą modelować długie, surowe dźwięki i głosy śpiewające, wykorzystując Jukebox jako architekturę referencyjną.
Muzycy i hobbyści tworzący niesamowite covery lo-fi AI, które śpiewają nowe teksty w surowym stylu wybranego artysty.
Nauczyciele demonstrują przejście od generowania nut w stylu MIDI do pełnej syntezy surowego dźwięku z wokalem.
Projektanci dźwięku i artyści eksperymentalni wykorzystują mgliste, zjawiskowe tekstury Jukebox jako surowiec do remiksowania i kolażu.
Zagrożenia i poręcze
W przypadku braku zgody zwiększa się ryzyko niewłaściwego użycia głosu i podszywania się pod inne osoby.
Dokładność może spaść w przypadku akcentów, dialektów lub hałaśliwego otoczenia.
Bez wyraźnego oznakowania dźwięk syntetyczny można pomylić z autentyczną mową.
Plan wdrożenia
Uzyskaj wyraźną zgodę na przechwytywanie, klonowanie i ponowne wykorzystanie głosu.
Testuj jakość na różnych głośnikach i w różnych warunkach otoczenia.
Zdefiniuj, kiedy człowiek musi przejrzeć lub zatwierdzić wyniki.
Oznacz dźwięk syntetyczny i prowadź dokumentację pochodzenia w celu zapewnienia odpowiedzialności.
Odkrywaj dalej
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Jukebox quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Następny poradnik
Symboliczne pokolenie muzyki
Często zadawane pytania
What is Jukebox?
Jukebox to sieć neuronowa OpenAI na rok 2020, która generuje surowy dźwięk muzyczny — wraz ze śpiewającymi głosami, instrumentami, a nawet tekstami w stylu konkretnych artystów. Był to przełomowy dowód na to, że sztuczna inteligencja może modelować rzeczywisty przebieg muzyki obejmującej cały utwór, a nie tylko nuty.
Co sprawia, że Jukebox różni się od wcześniejszych symbolicznych systemów muzycznych typu AI, które wysyłają komunikaty MIDI?
Jukebox modeluje rzeczywiste brzmienie muzyki jako surowy dźwięk, dzięki czemu może generować barwy wokali i instrumentów, w przeciwieństwie do systemów symbolicznych, które wysyłają jedynie dane nutowe.
Kto i mniej więcej kiedy wydał Jukebox?
OpenAI wypuścił Jukebox w kwietniu 2020 roku jako model badawczy do generowania muzyki z wokalem.
Jakie było główne praktyczne ograniczenie Jukeboxa?
Ponieważ dekoduje surową próbkę audio, Jukebox potrzebował około dziewięciu godzin na wyprodukowanie jednej minuty muzyki, co czyniło go niepraktycznym w przypadku wykorzystania w czasie rzeczywistym.
Jakiej podstawowej techniki używa Jukebox, aby umożliwić zarządzanie długim, surowym dźwiękiem w Transformersach?
Jukebox wykorzystuje autoenkodery VQ-VAE do kompresji kształtu fali w dyskretne tokeny, które Transformers następnie modeluje autoregresywnie przed próbkowaniem z powrotem do dźwięku.
Od czego można uzależnić wyjście Jukeboxa?
Jukebox akceptuje gatunek, artystę do naśladowania i teksty i spróbuje zaśpiewać te słowa w tym stylu.