Audio AI-GIDS
MuziekGen
MusicGen is het open tekst-naar-muziekmodel van Meta, gepubliceerd in juni 2023, dat muziek schrijft als een reeks gecomprimeerde audiotokens met behulp van een enkel transformatortaalmodel.
Luister naar deze gidsAI-verteld · ~8 min
Op deze pagina9 minuten lezen
Overzicht
Het kan een tekstbeschrijving volgen, zoals een genre en stemming, of een neuriënde of gespeelde melodie, en voert 32 kHz audio uit. De code heeft een MIT-licentie, terwijl de gewichten een licentie hebben voor niet-commercieel gebruik.
Belangrijkste inzichten
- MusicGen is een enkelfasige transformer die EnCodec-audiotokens genereert op basis van een tekstbeschrijving en optioneel een melodie.
- Meta bracht op 2 augustus 2023 de gewichten en code van MusicGen uit als onderdeel van AudioCraft.
- MusicGen is getraind op ongeveer 20.000 uur aan gelicentieerde muziek en is beschikbaar in groottes van 300M, 1,5B en 3,3B parameters.
- Het vertraagd interleaving-patroon verandert 30 seconden audio met vier codebooks in ongeveer 1.500 autoregressieve stappen.
- MusicGen kan geen realistische zang produceren, omdat zang uit de trainingsdata is verwijderd.
- De code van MusicGen heeft een MIT-licentie, maar de modelgewichten vallen onder CC-BY-NC 4.0, wat commercieel gebruik verbiedt.
Diepe duik
MusicGen is a model that generates music from a text description, optionally guided by a melody. It was introduced by Jade Copet and colleagues at Meta AI in the paper "Simple and Controllable Music Generation", first posted to arXiv in June 2023. It works the way a text language model does, predicting the next token from the previous ones, except that its tokens represent short slices of compressed audio rather than words. A separate neural audio codec turns those tokens back into sound. The word simple in the title refers to the design: one transformer generates everything in a single stage, instead of the chain of models that earlier systems such as Google's MusicLM used to go from coarse to fine detail.
The first ingredient is EnCodec, a neural audio codec from the same Meta team, described in an October 2022 paper. A codec compresses audio into a compact form and reconstructs it. The MusicGen version takes 32 kHz mono audio, downsamples it by a stride of 640 samples to 50 frames per second, and represents each frame with residual vector quantization (RVQ): four codebooks of 2,048 entries each, where the first codebook captures the coarse content and each later codebook encodes what the previous ones missed. Thirty seconds of music therefore becomes 1,500 frames, each with four tokens.
The second ingredient is how those four parallel token streams are fed to one transformer. Predicting all 6,000 tokens of a 30-second clip one by one, called flattening, is accurate but slow. Predicting all four codebooks of a frame at once, called parallel, is fast but ignores dependencies between them. MusicGen's default "delay" pattern offsets each codebook by one step, so at each step the model predicts codebook 1 for the current frame, codebook 2 for the previous frame, and so on. The paper says this turns 30 seconds of audio into 1,500 autoregressive steps. In its ablation, flattening still scored best, delay came close, and parallel was worst.
Conditioning steers the generation. Text prompts are encoded by a frozen T5 text encoder, and the paper also tested FLAN-T5 and CLAP. For melody, the model reads a chromagram, a representation of how much energy falls in each of the 12 pitch classes over time. The authors found that the raw chromagram led the model to copy the original track, so they kept only the dominant pitch class at each step and used Demucs, a source-separation model, to remove drums and bass first, because those dominated the chromagram. Generation uses classifier-free guidance: during training the condition is dropped 20% of the time, and at inference the model blends conditioned and unconditioned predictions with a guidance scale of 3.0 to follow the prompt more closely.
Training used about 20,000 hours of licensed music: an internal set of 10,000 high-quality tracks plus 25,000 and 365,000 instrument-only tracks from the ShutterStock and Pond5 collections, all at 32 kHz with text descriptions and metadata. The team trained models of 300 million, 1.5 billion and 3.3 billion parameters for one million steps on 30-second crops, using 32, 64 and 96 GPUs respectively. Meta announced the model publicly on 2 August 2023 as part of AudioCraft, alongside AudioGen for sound effects and an improved EnCodec decoder. The Hugging Face model card says the version 1 models were trained between April and May 2023.
On the MusicCaps benchmark of expert-written music descriptions, MusicGen compared well. Frechet Audio Distance (FAD), which measures how far generated audio statistics are from real audio, was 3.1 for the 300M model, against 4.0 reported for MusicLM, 7.5 for Mousai and 14.8 for Riffusion; Noise2Music reported the best FAD at 2.1. In human ratings on a 1 to 100 scale, the 3.3B model scored 84.81 for overall quality and the 1.5B model 83.70 for relevance to the text, against 80.51 and 82.35 for the public MusicLM demo. The authors note that larger models did not always improve automatic metrics even when listeners preferred them. With melody conditioning, the similarity between the reference and generated chromagrams rose from 0.10 to 0.66. A stereo variant, fine-tuned from the mono model with eight codebooks, was rated higher than mono.
Compared with alternatives, MusicGen's main trade is simplicity for some control. Hierarchical systems like MusicLM cascade several models, which the MusicGen authors avoided. Diffusion-based systems such as Riffusion and Mousai generate spectrograms or latents through iterative denoising rather than token by token. Within token-based models, MusicGen's interleaving patterns are its distinguishing choice. Its open release is also a difference: Meta published weights and code, while MusicLM's implementation was not public at the time of the paper.
The limitations are stated by Meta itself. The model card says MusicGen cannot generate realistic vocals, because vocals were removed from training data; works best with English descriptions; performs unevenly across musical styles and cultures; sometimes collapses to silence at the end of a song; and may need prompt engineering. The paper's authors note that their method offers no fine-grained control over how closely the output follows the conditioning beyond classifier-free guidance, and that the dataset contains a larger proportion of Western-style music. They also raise the concern that generative models could compete unfairly with artists. The weights are licensed CC-BY-NC 4.0, which rules out commercial use, even though the code is MIT-licensed. In practice, running MusicGen requires Python, PyTorch and ffmpeg per the AudioCraft README, and a GPU is advisable for the larger checkpoints; the model card's examples generate clips of a few seconds at a time.
04Uitgewerkt voorbeeld
Een korte MusicGen-clip genereren en controleren
Installeer Hugging Face Transformers versie 4.31.0 of later en scipy, en bevestig dat het gebruik niet‑commercieel is onder de CC‑BY‑NC 4.0‑gewichtlicentie.
Laad facebook/musicgen-small via de tekst‑naar‑audio‑pipeline om het geheugenverbruik laag te houden voor een eerste test.
Genereer een clip van de prompt ‘lo‑fi hip hop beat met zachte piano en vinylkraken’ en sla de geretourneerde 32 kHz‑array op als een WAV‑bestand.
Genereer een tweede clip van dezelfde prompt en luister naar beide; sampling met top‑k maakt elke uitvoering anders.
Verander één element van de prompt, bijvoorbeeld piano vervangen door saxofoon, en controleer of de instrumentatie overeenkomstig verandert.
Vergelijk met de melodie‑checkpoint door een korte referentiemelodie te leveren en te luisteren of de melodie wordt overgenomen.
Wat het laat zien
Twee of meer korte instrumentale fragmenten van 32 kHz die het genre en de instrumenten van de prompt weerspiegelen. Controleer ze door te luisteren naar naleving van de prompt, naar eventuele overgang naar stilte nabij het einde, en door te noteren dat er geen realistische zang aanwezig is, beide overeenkomend met de beperkingen in het modelkaart van Meta.
Implementatie in de echte wereld
Meta bracht MusicGen met AudioGen en EnCodec uit als het AudioCraft-framework op 2 augustus 2023, waarbij modelgewichten en trainingscode werden gepubliceerd zodat onderzoekers hun eigen data konden gebruiken om modellen te trainen.
Melodieconditie: de MusicGen-melodie-checkpoint haalt een chromagram op uit een referentietrack na het verwijderen van drums en bas, en genereert vervolgens nieuwe muziek die die melodie volgt terwijl het een tekstprompt volgt.
Onderzoekers laden de kleine, middelgrote, grote of melodie-checkpoints via Hugging Face Transformers (versie 4.31.0 of later) met de tekst-naar-audio-pijplijn om mono 32 kHz-fragmenten te produceren.
In de luistertests van het paper op MusicCaps scoorde de 3,3B-parameter MusicGen 84,81 van 100 voor algehele kwaliteit, boven de 80,51 gemeten voor de publieke MusicLM-demo.
Het AudioCraft-repository voegde later gerelateerde onderzoeksmodellen toe zoals MAGNeT, een niet-autoregressief tekst-naar-muziekmodel, en AudioSeal voor audio-watermerken, gebouwd op dezelfde codebasis.
De toekomst van muziekGen
The MusicGen paper names its own open problems: finer control over how strictly output follows its conditioning, and better data augmentation and guidance for audio conditioning such as melodies. Meta's August 2023 announcement acknowledged that the training data skews toward Western-style music and English-only descriptions, which limits the model's range. Since 2023, the AudioCraft repository has grown to include MAGNeT, a non-autoregressive text-to-music and text-to-sound model, MusicGen Style, JASCO for conditioning on chords, melodies and drum tracks, and AudioSeal for watermarking generated audio, which shows the research direction toward faster generation, richer musical controls and provenance tools. Questions about training-data licensing, attribution and the economic effect on working musicians remain unresolved across the field, and the MusicGen authors flagged unfair competition for artists as an open issue. Evaluations using shared benchmarks such as MusicCaps, together with human listening tests, remain the main way to compare newer music models with MusicGen.
Het in de praktijk brengen
Waarom het ertoe doet
- Toegang en bereik. Het verbetert de toegankelijkheid via transcriptie, gesproken tekst en spraakinterfaces.
- Kosten en budget. Mediateams kunnen met kleinere budgetten sneller gepolijste audio leveren.
- Snelheid en schaal. Klantgerichte systemen kunnen gesproken interacties op grotere schaal verwerken.
Pas op voor
- Het risico op stemmisbruik en imitatie neemt toe als de toestemming ontbreekt.
- De nauwkeurigheid kan afnemen bij accenten, dialecten of luidruchtige omgevingen.
- Synthetische audio kan worden aangezien voor authentieke spraak zonder duidelijke labels.
Volgende stappen
- Verkrijg expliciete toestemming voor het vastleggen, klonen en hergebruiken van spraak.
- Test de kwaliteit van diverse sprekers en achtergrondomstandigheden.
- Bepaal wanneer een mens de output moet beoordelen of goedkeuren.
- Label synthetische audio en houd de herkomstgegevens bij voor verantwoording.
Bronnen en verdere literatuur
- arXiv (Meta AI)Eenvoudige en Controleerbare Muziekgeneratie
- GitHub (facebookresearch)AudioCraft: Open source-code voor audio-generatie
- Hugging Facefacebook/musicgen-large modelkaart
- Meta AIAudioCraft: Een eenvoudige one-stop shop voor audio-modellering
- arXiv (Meta AI)High Fidelity Neural Audio Compression
Blijf verkennen
Gratis nieuwsbrief
Ontvang de dagelijkse AI-briefing
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Doe de MusicGen-quiz
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Veelgestelde vragen
Wat is MusicGen?
MusicGen is het open tekst-naar-muziekmodel van Meta, gepubliceerd in juni 2023, dat muziek schrijft als een reeks gecomprimeerde audiotokens met behulp van een enkel transformatortaalmodel. Het kan een tekstbeschrijving volgen, zoals een genre en stemming, of een neuriënde of gespeelde melodie, en voert 32 kHz audio uit. De code heeft een MIT-licentie, terwijl de gewichten een licentie hebben voor niet-commercieel gebruik.
Welke invoer kan een melodie-geconditioneerde MusicGen-variant accepteren naast tekst?
De melodie-geconditioneerde variant kan een tekstbeschrijving en een referentiemelodie gebruiken; deze invoer is niet beschikbaar in elke tekst-alleen checkpoint.
Welke neurale codec produceert de audiotokens die MusicGen voorspelt?
MusicGen modelleert discrete tokens die worden gegenereerd door de EnCodec-codec van Meta, die ook de voorspelde tokens terug naar audio decodeert.
Hoe modelleert MusicGen meerdere EnCodec-code-streams?
De architectuur gebruikt vertraagde interleaving in een enkel-stadia autoregressief model; “single-stage” betekent niet dat het hele nummer in één voorwaartse stap wordt gegenereerd.
Hoe volgt MusicGen een opgegeven melodie zonder de exacte opname te kopiëren?
Een chromagram legt vast welke toonhoogteklassen in de loop van de tijd aanwezig zijn, waardoor MusicGen de harmonie en contouren van de melodie kan matchen zonder het originele timbre te reproduceren.
Welk project en bedrijf heeft MusicGen uitgebracht?
MusicGen werd in 2023 uitgebracht als onderdeel van Meta AI's AudioCraft-project, met open code en modelgewichten.
Blijf leren
Gerelateerde gidsen
Er zijn meer handleidingen voor dit onderwerp geselecteerd