Audio AI-GIDS

AI Music-uitbreiding en voortzetting

De AI-muziekextensie gebruikt een generatief model om een bestaand audiofragment voort te zetten, een gedeelte in het midden opnieuw te genereren (inpainting), het te restylen of individuele instrumentstelen toe te voegen en te vervangen.

Luister naar deze gidsAI-verteld · ~3 min

Op deze pagina4 minuten lezen
  1. Overzicht
  2. Diepe duik
  3. Implementatie in de echte wereld
  4. De toekomst van AI-muziekuitbreiding en voortzetting
  5. Het in de praktijk brengen
  6. Blijf verkennen
  7. Veelgestelde vragen

Overzicht

Hiermee kan een kort idee uitgroeien tot een volledig nummer of kan een gebrekkige opname worden gerepareerd zonder opnieuw op te nemen. Het is belangrijk omdat het de manier verandert waarop mensen muziek opstellen en bewerken, maar het heeft duidelijke kwaliteitsbeperkingen en verwijdert niet de rechten van degene die de originele audio bezit.

Diepe duik

Extensie neemt een bestaande clip en genereert wat daarna komt. Een veel voorkomende benadering is autoregressieve voortzetting. Meta's MusicGen, uitgebracht in 2023 als onderdeel van AudioCraft, zet audio om in discrete tokens met een neurale codec genaamd EnCodec en voorspelt verdere tokens na degene die je levert, net zoals een taalmodel een zin voortzet. Consumentendiensten zoals Suno en Udio bieden dit aan als een uitbreidingsfunctie, waarbij u meestal een startpunt kunt kiezen en de songtekst of stijl voor de nieuwe sectie kunt wijzigen. Inpainting regenereert een gemaskeerd gebied in het midden terwijl de audio aan beide kanten behouden blijft, handig voor het corrigeren van een tekst of het vervangen van vier maten. Diffusiemodellen zijn hiervoor geschikt omdat de bekende audio vast kan worden gehouden terwijl alleen de gemaskeerde overspanning wordt ontdaan van ruis. Audio-naar-audio- of remixmodi, zoals die Stability AI geïntroduceerd met Stable Audio 2.0 in 2024, voegen gedeeltelijk ruis toe aan een invoer en regenereren deze onder een nieuwe prompt, zodat de structuur overleeft terwijl het timbre en de stijl veranderen. Een sterkte-instelling bepaalt hoeveel van het origineel overblijft. Stamwerk combineert scheiding en generatie. Bronscheidingsmodellen zoals Meta's open-source Demucs splitsen een mix op in zang, drums, bas en andere; een generator kan dan één onderdeel toevoegen of vervangen, afhankelijk van de rest. De grenzen zijn reëel. Lange extensies drijven: tempo, toonsoort, mixbalans en stemtimbre kunnen afdwalen. Joins kunnen klikken of springen in luidheid. Modellen zien een beperkt contextvenster, waardoor een motief uit de eerste minuut vergeten kan worden. Een veel voorkomende misvatting is dat het model de structuur van het nummer begrijpt zoals een muzikant dat doet; het komt overeen met patronen in recente audio. Er blijven ook rechten bestaan: door een commerciële opname uit te breiden waarvan je niet de eigenaar bent, ontstaat er een afgeleide ervan, en de voorwaarden van veel diensten verbieden het uploaden van audio waarop je geen rechten hebt.

Implementatie in de echte wereld

Een songwriter neuriet een refreinidee van 20 seconden, uploadt dit naar een muziekgenerator en gebruikt een Extend-functie vanaf 0:18 om een ​​couplet en brug te produceren die in dezelfde toonsoort en tempo volgen.

Een podcast-editor heeft een gelicentieerd muziekbed van 30 seconden dat te kort is voor de intro, dus genereert ze een vervolg en crossfades dit op een maatlijn om 60 seconden te bereiken.

Een producer scheidt een oude demo met Demucs in zang, drums, bas en andere stems, dempt de zwakke drumstem en laat een model een nieuwe drumpartij genereren op basis van de resterende stems.

Een band schildert twee maten waarin de zanger een tekst heeft gespeeld, waarbij de audio aan beide kanten intact blijft, en controleert vervolgens of de geregenereerde stem nog steeds klinkt als dezelfde zanger.

De toekomst van AI-muziekuitbreiding en voortzetting

Onderzoek streeft naar een langere context, een beter structuurbewustzijn en een fijnere controle over individuele stammen, wat de drift zou moeten verminderen en bewerkingen op sectieniveau voorspelbaarder zou moeten maken. Integratie in digitale audiowerkstations is een waarschijnlijke richting, omdat bewerken binnen een bestaand project nuttiger is dan het genereren van hele nummers in een browser. Kwaliteit tot het uiterste en het behoud van de identiteit van een specifieke zanger blijven lastige problemen. Aan de rechtenkant zijn de uploadscreening- en licentieregelingen tussen diensten en rechthebbenden nog steeds in ontwikkeling, dus wat gebruikers legaal kunnen uitbreiden zal afhangen van de evoluerende voorwaarden en gerechtelijke uitkomsten en niet alleen van de technologie.

Het in de praktijk brengen

Waarom het ertoe doet

  • Toegang en bereik. Het verbetert de toegankelijkheid via transcriptie, gesproken tekst en spraakinterfaces.
  • Kosten en budget. Mediateams kunnen met kleinere budgetten sneller gepolijste audio leveren.
  • Snelheid en schaal. Klantgerichte systemen kunnen gesproken interacties op grotere schaal verwerken.

Pas op voor

  • Het risico op stemmisbruik en imitatie neemt toe als de toestemming ontbreekt.
  • De nauwkeurigheid kan afnemen bij accenten, dialecten of luidruchtige omgevingen.
  • Synthetische audio kan worden aangezien voor authentieke spraak zonder duidelijke labels.

Volgende stappen

  1. Verkrijg expliciete toestemming voor het vastleggen, klonen en hergebruiken van spraak.
  2. Test de kwaliteit van diverse sprekers en achtergrondomstandigheden.
  3. Bepaal wanneer een mens de output moet beoordelen of goedkeuren.
  4. Label synthetische audio en houd de herkomstgegevens bij voor verantwoording.

Blijf verkennen

Gratis nieuwsbrief

Ontvang de dagelijkse AI-briefing

Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.

Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.

Test jezelf

Neem de AI Music Extension en Continuation quiz

Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.

Quiz starten

Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie

Veelgestelde vragen

Wat is AI Music-uitbreiding en voortzetting?

De AI-muziekextensie gebruikt een generatief model om een bestaand audiofragment voort te zetten, een gedeelte in het midden opnieuw te genereren (inpainting), het te restylen of individuele instrumentstelen toe te voegen en te vervangen. Hiermee kan een kort idee uitgroeien tot een volledig nummer of kan een gebrekkige opname worden gerepareerd zonder opnieuw op te nemen. Het is belangrijk omdat het de manier verandert waarop mensen muziek opstellen en bewerken, maar het heeft duidelijke kwaliteitsbeperkingen en verwijdert niet de rechten van degene die de originele audio bezit.

Hoe zet een autoregressief model als MusicGen een audiofragment voort?

De clip wordt omgezet in afzonderlijke tokens en het model voorspelt welke tokens er daarna komen, vergelijkbaar met hoe een taalmodel tekst voortzet.

Welke neurale codec gebruikt MusicGen om audio in tokens om te zetten?

MusicGen vertrouwt op EnCodec, een neurale audiocodec van Meta, om audio weer te geven als discrete tokens.

Wat doet audio-inpainting?

Met Inpainting wordt een geselecteerde periode gevuld of vervangen, zoals een vervaagde tekst, terwijl de omringende audio intact blijft.

Waarom zijn diffusiemodellen goed geschikt voor inpainting?

Diffusie kan bekende gebieden beperken tijdens het verwijderen van ruis, zodat alleen het ontbrekende gedeelte wordt geregenereerd om in de omgeving te passen.

Wat regelt de sterkte-instelling in een remix- of audio-naar-audio-modus?

Hogere sterkte voegt meer ruis toe en regenereert meer, waardoor de invoer verder verandert; lagere sterkte behoudt meer van zijn structuur.