AudioLM
AudioLM est un cadre de recherche Google qui génère un son réaliste (parole ou musique de piano) en traitant le son comme un langage et en le prédisant jeton par jeton.
Aperçu
It matters because it showed you can produce coherent, natural-sounding audio continuations without any text transcript or musical score.
Plongée profonde
Introduit par Google en 2022, AudioLM recadre la génération audio comme un problème de modélisation du langage : il convertit les formes d'onde brutes en jetons discrets, puis prédit le jeton suivant, tout comme un modèle de texte prédit le mot suivant. Son astuce clé est une hiérarchie de types de jetons. Les jetons « sémantiques » (issus d'un modèle tel que w2v-BERT) capturent la structure à long terme — phonétique, syntaxe, mélodie — tandis que les jetons « acoustiques » (issus du codec neuronal SoundStream) capturent des détails fins tels que l'identité du locuteur, le timbre et les conditions d'enregistrement. En prédisant d'abord les jetons sémantiques, puis en conditionnant les jetons acoustiques sur ceux-ci, AudioLM produit des suites qui restent cohérentes pendant plusieurs secondes tout en préservant la voix ou l'instrument d'origine. Après quelques secondes de parole, il continue à parler de la même voix ; étant donné le piano, il improvise dans le même style.
Aperçu technique
AudioLM est formé uniquement sur l'audio – pas de transcriptions. SoundStream compresse l'audio en jetons acoustiques via une quantification vectorielle résiduelle, tandis que w2v-BERT fournit des jetons sémantiques grossiers. Une pile de modèles en langage Transformer prédit les jetons par étapes : sémantique d'abord pour la structure, puis jetons acoustiques grossiers et fins pour une reconstruction haute fidélité. Le décodeur de SoundStream transforme enfin les jetons prédits en une forme d'onde, produisant un son qui maintient la voix et la prosodie du locuteur cohérentes.
Impact stratégique
Accès et portée
Il améliore l'accessibilité grâce à la transcription, à la narration et aux interfaces vocales.
Coût et budget
Les équipes médias peuvent produire un son de qualité plus rapidement avec des budgets plus réduits.
Vitesse et échelle
Les systèmes orientés client peuvent traiter les interactions orales à plus grande échelle.
L'avenir d'AudioLM
La recette basée sur les jetons d'AudioLM est devenue la base des systèmes ultérieurs : les idées AudioLM de Google ont été intégrées à MusicLM pour la conversion texte-musique et à SoundStorm pour une génération plus rapide, tandis que le domaine plus large mélange désormais les jetons sémantiques et acoustiques dans la parole, la musique et les effets sonores. Attendez-vous à une génération plus rapide en temps réel, à des sorties cohérentes plus longues et à un contrôle multimodal où le texte ou d'autres signaux dirigent des modèles purement audio. Les mêmes techniques accentuent également les inquiétudes concernant le clonage vocal et les deepfakes audio.
Mise en œuvre dans le monde réel
Poursuivre un court extrait de discours avec la voix et l'intonation du même locuteur sans transcription
Improviser une nouvelle musique pour piano qui correspond au style d'une brève invite enregistrée
Servir d'épine dorsale de génération audio pour les systèmes de conversion texte-musique comme MusicLM
Recherche sur la synthèse vocale préservant la prosodie et l'acoustique d'enregistrement à partir d'un échantillon
Risques et garde-fous
Les risques d’utilisation abusive de la voix et d’usurpation d’identité augmentent lorsque le consentement fait défaut.
La précision peut chuter en fonction des accents, des dialectes ou des environnements bruyants.
L’audio synthétique peut être confondu avec une parole authentique sans étiquetage clair.
Feuille de route de mise en œuvre
Obtenez un consentement explicite pour la capture vocale, le clonage et la réutilisation.
Testez la qualité sur divers locuteurs et conditions d’arrière-plan.
Définissez quand un humain doit examiner ou approuver les résultats.
Étiquetez l’audio synthétique et conservez des enregistrements de provenance pour des raisons de responsabilité.
Continuez à explorer
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the AudioLM quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Guide suivant
Détection de mots-clés et mots de réveil
Questions fréquemment posées
What is AudioLM?
AudioLM est un cadre de recherche Google qui génère un son réaliste (parole ou musique de piano) en traitant le son comme un langage et en le prédisant jeton par jeton. C’est important car cela a montré que vous pouvez produire des suites audio cohérentes et naturelles sans aucune transcription de texte ni partition musicale.
Quelle idée de base AudioLM utilise-t-il pour générer de l'audio ?
AudioLM convertit les formes d'onde en jetons discrets et les prédit de manière séquentielle, en appliquant l'approche du jeton suivant des modèles de langage au son brut.
Quel est le rôle des jetons « sémantiques » dans AudioLM ?
Les jetons sémantiques (de w2v-BERT) codent la structure et la cohérence de haut niveau, tandis que les jetons acoustiques gèrent les détails audio fins.
Quel codec neuronal produit les jetons acoustiques d'AudioLM ?
SoundStream utilise la quantification vectorielle résiduelle pour compresser l'audio en jetons acoustiques, puis décode les jetons prédits en une forme d'onde.
De quoi AudioLM a-t-il besoin comme données de formation ?
Une caractéristique notable est qu'AudioLM s'entraîne uniquement sur l'audio sans aucune étiquette de texte, apprenant la structure directement à partir du son.
Pourquoi AudioLM prédit-il les jetons sémantiques avant les jetons acoustiques ?
La génération d'une structure grossière maintient d'abord le résultat cohérent dans le temps ; les jetons acoustiques sont ensuite conditionnés sur cette structure pour ajouter des détails haute fidélité.