Etiquetado de música con Transformers
El etiquetado de música utiliza modelos transformadores para escuchar una canción y predecir etiquetas descriptivas como género, estado de ánimo, instrumentos y tempo.
Descripción general
It powers search, recommendation, and auto-organization across huge music catalogs.
Buceo profundo
El etiquetado automático de música es un problema de clasificación de múltiples etiquetas: una pista puede ser "rock", "energética", "guitarra" e "instrumental" a la vez. Los Transformers lo abordan convirtiendo el audio en un espectrograma (una imagen de tiempo-frecuencia) y alimentando parches del mismo a través de capas de autoatención, de manera muy similar a como un Vision Transformer trata los parches de imágenes. Modelos como Audio Spectrogram Transformer (AST) y MERT aprenden patrones de largo alcance en una pista completa, capturando cómo se relaciona un estribillo con un verso con minutos de diferencia. Muchos están previamente entrenados y autosupervisados en millones de clips sin etiquetar y luego ajustados en conjuntos de datos etiquetados como MagnaTagATune o Million Song Dataset. Debido a que las etiquetas no son mutuamente excluyentes, la capa final utiliza resultados sigmoideos evaluados según puntos de referencia como la precisión promedio media y ROC-AUC.
Información técnica
El audio sin procesar se convierte en un espectrograma log-Mel, se divide en parches superpuestos y se incrusta linealmente con codificaciones posicionales. La atención propia permite que cada parche pese sobre los demás, de modo que los eventos musicales distantes influyen en cada etiqueta. A diferencia de los clasificadores de imágenes de etiqueta única, el etiquetado de música aplica un sigmoide por etiqueta en lugar de un softmax, ya que las etiquetas coexisten. El preentrenamiento autosupervisado (que predice tokens de audio enmascarados) proporciona representaciones sólidas antes de realizar ajustes en conjuntos etiquetados más pequeños.
Impacto Estratégico
Access and reach
Mejora la accesibilidad a través de transcripción, narración e interfaces de voz.
Costo y presupuesto
Los equipos de medios pueden enviar audio pulido más rápido con presupuestos más pequeños.
Speed and scale
Los sistemas de cara al cliente pueden procesar interacciones habladas a mayor escala.
El futuro del etiquetado musical con Transformers
El etiquetado se está fusionando con la comprensión del lenguaje natural para que puedas buscar 'lo-fi de ensueño con crujido de vinilo para estudiar' en lugar de botones fijos de género. Los modelos contrastantes de audio-texto como CLAP alinean la música y las descripciones en un solo espacio, lo que permite etiquetas de disparo cero nunca vistas en el entrenamiento. Espere etiquetas más ricas y granulares, un mejor manejo de géneros de fusión y etiquetado en el dispositivo para mayor privacidad. Los debates sobre derechos y atribuciones en torno a la capacitación sobre catálogos protegidos por derechos de autor determinarán qué datos pueden utilizar estos modelos.
Implementación en el mundo real
Generación automática de etiquetas de género y estado de ánimo para que los servicios de streaming puedan crear listas de reproducción de "concentración" o "entrenamiento".
Permitir que las bibliotecas de música muestren pistas de 'guitarra acústica alegre' para editores de video que buscan licencias de sincronización
Impulsar motores de recomendación que encuentran canciones con sonido similar más allá de lo que los usuarios calificaron explícitamente.
Organizar la colección de muestras de un productor por instrumento, clave y tempo detectados automáticamente
Riesgos y barandillas
Los riesgos de uso indebido de voz y suplantación de identidad aumentan cuando falta el consentimiento.
La precisión puede disminuir según los acentos, los dialectos o los entornos ruidosos.
El audio sintético puede confundirse con el habla auténtica sin un etiquetado claro.
Hoja de ruta de implementación
Obtenga consentimiento explícito para la captura, clonación y reutilización de voz.
Pruebe la calidad en diversos oradores y condiciones de fondo.
Defina cuándo un humano debe revisar o aprobar los resultados.
Etiquete el audio sintético y mantenga registros de procedencia para la rendición de cuentas.
Sigue explorando
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Music Tagging with Transformers quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Siguiente guía
Etiquetado automático de música
Preguntas frecuentes
What is Music Tagging with Transformers?
El etiquetado de música utiliza modelos transformadores para escuchar una canción y predecir etiquetas descriptivas como género, estado de ánimo, instrumentos y tempo. Impulsa la búsqueda, la recomendación y la organización automática en enormes catálogos de música.
¿Por qué el etiquetado de música se trata como un problema que afecta a múltiples sellos?
Una canción puede ser rockera, enérgica y con guitarra simultáneamente, por lo que se aplican varias etiquetas a una pista.
¿Qué representación de entrada suelen utilizar los etiquetadores de transformadores?
El audio se convierte en un espectrograma de tiempo-frecuencia, luego se parchea y se alimenta a través de la atención propia como parches de imágenes.
¿Por qué los modelos de etiquetado de música utilizan una salida sigmoidea por etiqueta en lugar de una softmax?
Softmax obliga a que las probabilidades sumen uno (elección única); sigmoide permite que cada etiqueta sea verdadera de forma independiente.
¿Cuál es el papel del preentrenamiento autosupervisado para modelos como MERT?
El entrenamiento previo sobre la predicción de audio enmascarado sobre grandes corpus sin etiquetar crea representaciones que luego se ajustan con precisión en datos etiquetados.
¿Qué conjunto de datos se utiliza habitualmente para afinar y comparar los etiquetadores de música?
MagnaTagATune y Million Song Dataset son puntos de referencia de música etiquetada estándar; MNIST e ImageNet son conjuntos de imágenes.