Cuestionario vinculado a una guía · Medio Nivel

Prueba de aprendizaje sobre incrustaciones y representaciones de audio

Revise cómo las incrustaciones de audio codifican el sonido, cómo el entrenamiento contrastivo vincula el audio y el texto, y cómo los vectores aprendidos se transfieren entre tareas.

Pregunta 1 de 8

¿Qué es una incrustación de audio?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. ¿Qué es una incrustación de audio?
    • Un vector de números de longitud fija que representa las características significativas de un sonido.
    • Una versión MP3 comprimida del archivo de audio.
    • Una transcripción escrita de palabras habladas.
    • Un nivel de volumen medido en decibeles.
  2. ¿Por qué es tan importante el aprendizaje autosupervisado para las incrustaciones de audio?
    • Requiere que el audio sea grabado en un estudio.
    • Aprende representaciones útiles a partir de audio sin etiquetar, lo que reduce la necesidad de etiquetas humanas.
    • Sólo funciona con música, no con voz.
    • Garantiza una precisión de transcripción perfecta.
  3. ¿Cómo aprende Wav2Vec 2.0 durante el preentrenamiento?
    • Traduciendo audio al francés
    • Memorizando cada archivo de entrenamiento exactamente
    • Enmascarando intervalos de audio y prediciendo la unidad cuantificada correcta entre los distractores.
    • Midiendo el tamaño del archivo de cada clip
  4. ¿Qué alinea un modelo como CLAP en un espacio de inserción compartido?
    • Dos cuadros de video diferentes
    • Píxeles e histogramas de color.
    • Nivel de batería y uso de CPU
    • Descripciones de audio y texto coincidente
  5. Antes de alimentar audio a una red neuronal, ¿qué transformación común se suele aplicar?
    • Convirtiéndolo en un espectrograma o representación de filtro aprendido
    • Imprimirlo como partitura
    • Eliminar permanentemente todas las frecuencias por encima del oído humano
    • Convirtiéndolo a una imagen JPEG de la portada del álbum
  6. ¿Qué tarea del mundo real depende directamente de comparar incrustaciones de audio?
    • Calcular el precio de compra de una canción
    • Diario del orador, averiguar quién habló y cuándo
    • Elegir la portada del álbum
    • Configurar el brillo de la pantalla
  7. During contrastive audio-text training, what happens to a matching audio clip and its text description?
    • They are converted into the same raw waveform
    • The text embedding is discarded
    • Their embeddings are pulled closer while mismatched pairs are pushed apart
    • The audio is assigned a speaker name as a class label
  8. Why can one self-supervised audio embedding be reused across several downstream tasks?
    • It stores the original waveform without compression
    • It contains a manually written label for every possible sound
    • It works only for one speaker and one recording
    • It captures general acoustic structure that can support tasks with little extra labeled data