NastępnyNastępny poradnik
Symboliczne pokolenie muzyki
Dźwiękowa sztuczna inteligencja
PRZEWODNIK AI audio
MusicLM: Hierarchiczne tokeny semantyczne i akustyczne
MusicLM to model zamiany tekstu na muzykę firmy Google, który generuje długie dźwięki poprzez hierarchię tokenów semantycznych określających strukturę muzyczną i tokenów akustycznych określających szczegóły dźwięku.
Na tej stronie2 minuty czytania
Głębokie nurkowanie
MusicLM przedstawia warunkowe generowanie muzyki jako hierarchiczne modelowanie sekwencji po sekwencji. W artykule opisano tokeny semantyczne z w2v-BERT i tokeny akustyczne z kodeka SoundStream, ze etapami generującymi szeroką strukturę muzyczną, a następnie szczegóły akustyczne. MuLan zapewnia wspólne osadzanie tekstu muzycznego używane do warunkowania tekstu. Autorzy demonstrują także warunkowanie tekstu i melodii, przekształcając nucone lub gwizdane melodie zgodnie z podpisem. Wydali MusicCaps, zbiór danych zawierający 5500 par muzyki i tekstu z opisami napisanymi przez ludzi. W artykule opisano, że w swoich eksperymentach muzyka o wysokiej jakości 24 kHz była spójna przez kilka minut.
Wpływ strategiczny
Dostęp i zasięg
Poprawia dostępność poprzez transkrypcję, narrację i interfejsy głosowe.
Koszt i budżet
Zespoły medialne mogą szybciej dostarczać dopracowany dźwięk przy mniejszych budżetach.
Szybkość i skala
Systemy skierowane do klienta mogą przetwarzać interakcje mówione na większą skalę.
Przyszłość muzykiLM: hierarchiczne tokeny semantyczne i akustyczne
Hierarchiczne podejście do tokenów MusicLM stało się szablonem dla późniejszych systemów, takich jak MusicGen i komercyjne narzędzia muzyczne. Spodziewaj się mocniejszego warunkowania melodii (nuć melodię, uzyskaj pełną aranżację), dłuższych, w pełni ustrukturyzowanych utworów ze zwrotkami i refrenami oraz lepszej kontroli nad instrumentami i tonacją. Drażliwe kwestie są prawne i etyczne: obecnie kluczowe znaczenie mają licencjonowanie danych szkoleniowych, zgoda artysty i dźwięk wygenerowany ze znakiem wodnym, umożliwiający odróżnienie go od muzyki stworzonej przez człowieka.
Implementacja w świecie rzeczywistym
Generowanie klipu muzycznego na podstawie szczegółowego opisu tekstowego
Przekształcanie nuconej lub gwizdanej melodii zgodnie z podpowiedzią stylu tekstu
Używanie napisanych przez ludzi opisów MusicCaps jako źródła badań do oceny zamiany tekstu na muzykę
Badanie, w jaki sposób wyrównanie tekstu i dźwięku wspiera podpowiedzi związane z generowaniem muzyki
Zagrożenia i poręcze
W przypadku braku zgody zwiększa się ryzyko niewłaściwego użycia głosu i podszywania się pod inne osoby.
Dokładność może spaść w przypadku akcentów, dialektów lub hałaśliwego otoczenia.
Bez wyraźnego oznakowania dźwięk syntetyczny można pomylić z autentyczną mową.
Plan wdrożenia
Uzyskaj wyraźną zgodę na przechwytywanie, klonowanie i ponowne wykorzystanie głosu.
Testuj jakość na różnych głośnikach i w różnych warunkach otoczenia.
Zdefiniuj, kiedy człowiek musi przejrzeć lub zatwierdzić wyniki.
Oznacz dźwięk syntetyczny i prowadź dokumentację pochodzenia w celu zapewnienia odpowiedzialności.
Odkrywaj dalej
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the MusicLM: Hierarchical Semantic and Acoustic Tokens quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Często zadawane pytania
Co to jest MusicLM: hierarchiczne tokeny semantyczne i akustyczne?
MusicLM to model zamiany tekstu na muzykę firmy Google, który generuje długie dźwięki poprzez hierarchię tokenów semantycznych określających strukturę muzyczną i tokenów akustycznych określających szczegóły dźwięku.
W jaki sposób MusicLM formułuje warunkowe generowanie muzyki?
W artykule przedstawiono warunkowe generowanie muzyki jako hierarchiczne modelowanie sekwencyjne, generujące semantyczne i akustyczne sekwencje symboliczne.
Jaka jest rola tokenów semantycznych w MusicLM?
Tokeny semantyczne (z w2v-BERT) przechwytują zgrubną, wolno zmieniającą się strukturę, taką jak melodia i rytm, na długich dystansach.
Który komponent zapewnia doskonałe szczegóły akustyczne, takie jak barwa i faktura?
Tokeny akustyczne pochodzą z kodeka neuronowego SoundStream i kodują drobne szczegóły, takie jak barwa i tekstura.
W jaki sposób MusicLM łączy monit tekstowy z dźwiękiem muzycznym?
MuLan jest przeszkolony w zakresie mapowania opisów tekstowych i pasujących dźwięków do pobliskich punktów we wspólnej przestrzeni osadzania, umożliwiając warunkowanie tekstu.
Dlaczego hierarchiczny, etapowy projekt pomaga w przypadku struktury dalekiego zasięgu?
Rzadkie znaczniki semantyczne zmieniają się powoli, więc Transformer może efektywnie modelować formę długoterminową, zanim zostaną wypełnione gęste szczegóły akustyczne.
Ucz się dalej
Powiązane przewodniki
Wybrano więcej przewodników na ten temat