VolgendeVolgende gids
Band-Split RoFormer voor Muziek Scheiding
Audio-AI
Audio AI-GIDS
De AI-muziekextensie gebruikt een generatief model om een bestaand audiofragment voort te zetten, een gedeelte in het midden opnieuw te genereren (inpainting), het te restylen of individuele instrumentstelen toe te voegen en te vervangen.
Luister naar deze gidsAI-verteld · ~3 min
Hiermee kan een kort idee uitgroeien tot een volledig nummer of kan een gebrekkige opname worden gerepareerd zonder opnieuw op te nemen. Het is belangrijk omdat het de manier verandert waarop mensen muziek opstellen en bewerken, maar het heeft duidelijke kwaliteitsbeperkingen en verwijdert niet de rechten van degene die de originele audio bezit.
Extensie neemt een bestaande clip en genereert wat daarna komt. Een veel voorkomende benadering is autoregressieve voortzetting. Meta's MusicGen, uitgebracht in 2023 als onderdeel van AudioCraft, zet audio om in discrete tokens met een neurale codec genaamd EnCodec en voorspelt verdere tokens na degene die je levert, net zoals een taalmodel een zin voortzet. Consumentendiensten zoals Suno en Udio bieden dit aan als een uitbreidingsfunctie, waarbij u meestal een startpunt kunt kiezen en de songtekst of stijl voor de nieuwe sectie kunt wijzigen. Inpainting regenereert een gemaskeerd gebied in het midden terwijl de audio aan beide kanten behouden blijft, handig voor het corrigeren van een tekst of het vervangen van vier maten. Diffusiemodellen zijn hiervoor geschikt omdat de bekende audio vast kan worden gehouden terwijl alleen de gemaskeerde overspanning wordt ontdaan van ruis. Audio-naar-audio- of remixmodi, zoals die Stability AI geïntroduceerd met Stable Audio 2.0 in 2024, voegen gedeeltelijk ruis toe aan een invoer en regenereren deze onder een nieuwe prompt, zodat de structuur overleeft terwijl het timbre en de stijl veranderen. Een sterkte-instelling bepaalt hoeveel van het origineel overblijft. Stamwerk combineert scheiding en generatie. Bronscheidingsmodellen zoals Meta's open-source Demucs splitsen een mix op in zang, drums, bas en andere; een generator kan dan één onderdeel toevoegen of vervangen, afhankelijk van de rest. De grenzen zijn reëel. Lange extensies drijven: tempo, toonsoort, mixbalans en stemtimbre kunnen afdwalen. Joins kunnen klikken of springen in luidheid. Modellen zien een beperkt contextvenster, waardoor een motief uit de eerste minuut vergeten kan worden. Een veel voorkomende misvatting is dat het model de structuur van het nummer begrijpt zoals een muzikant dat doet; het komt overeen met patronen in recente audio. Er blijven ook rechten bestaan: door een commerciële opname uit te breiden waarvan je niet de eigenaar bent, ontstaat er een afgeleide ervan, en de voorwaarden van veel diensten verbieden het uploaden van audio waarop je geen rechten hebt.
Een songwriter neuriet een refreinidee van 20 seconden, uploadt dit naar een muziekgenerator en gebruikt een Extend-functie vanaf 0:18 om een couplet en brug te produceren die in dezelfde toonsoort en tempo volgen.
Een podcast-editor heeft een gelicentieerd muziekbed van 30 seconden dat te kort is voor de intro, dus genereert ze een vervolg en crossfades dit op een maatlijn om 60 seconden te bereiken.
Een producer scheidt een oude demo met Demucs in zang, drums, bas en andere stems, dempt de zwakke drumstem en laat een model een nieuwe drumpartij genereren op basis van de resterende stems.
Een band schildert twee maten waarin de zanger een tekst heeft gespeeld, waarbij de audio aan beide kanten intact blijft, en controleert vervolgens of de geregenereerde stem nog steeds klinkt als dezelfde zanger.
Onderzoek streeft naar een langere context, een beter structuurbewustzijn en een fijnere controle over individuele stammen, wat de drift zou moeten verminderen en bewerkingen op sectieniveau voorspelbaarder zou moeten maken. Integratie in digitale audiowerkstations is een waarschijnlijke richting, omdat bewerken binnen een bestaand project nuttiger is dan het genereren van hele nummers in een browser. Kwaliteit tot het uiterste en het behoud van de identiteit van een specifieke zanger blijven lastige problemen. Aan de rechtenkant zijn de uploadscreening- en licentieregelingen tussen diensten en rechthebbenden nog steeds in ontwikkeling, dus wat gebruikers legaal kunnen uitbreiden zal afhangen van de evoluerende voorwaarden en gerechtelijke uitkomsten en niet alleen van de technologie.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
De AI-muziekextensie gebruikt een generatief model om een bestaand audiofragment voort te zetten, een gedeelte in het midden opnieuw te genereren (inpainting), het te restylen of individuele instrumentstelen toe te voegen en te vervangen. Hiermee kan een kort idee uitgroeien tot een volledig nummer of kan een gebrekkige opname worden gerepareerd zonder opnieuw op te nemen. Het is belangrijk omdat het de manier verandert waarop mensen muziek opstellen en bewerken, maar het heeft duidelijke kwaliteitsbeperkingen en verwijdert niet de rechten van degene die de originele audio bezit.
De clip wordt omgezet in afzonderlijke tokens en het model voorspelt welke tokens er daarna komen, vergelijkbaar met hoe een taalmodel tekst voortzet.
MusicGen vertrouwt op EnCodec, een neurale audiocodec van Meta, om audio weer te geven als discrete tokens.
Met Inpainting wordt een geselecteerde periode gevuld of vervangen, zoals een vervaagde tekst, terwijl de omringende audio intact blijft.
Diffusie kan bekende gebieden beperken tijdens het verwijderen van ruis, zodat alleen het ontbrekende gedeelte wordt geregenereerd om in de omgeving te passen.
Hogere sterkte voegt meer ruis toe en regenereert meer, waardoor de invoer verder verandert; lagere sterkte behoudt meer van zijn structuur.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Band-Split RoFormer voor Muziek Scheiding
Audio-AI