Questionário vinculado ao guia · Médio Nível

Questionário de aprendizagem de representação e incorporação de áudio

Revise como os embeddings de áudio codificam o som, como o treinamento contrastivo vincula o áudio e o texto e como os vetores aprendidos são transferidos entre as tarefas.

Pergunta 1 de 8

O que é uma incorporação de áudio?

Visualize cada pergunta8 perguntas

As respostas e explicações aparecem conforme você responde ao teste.

  1. O que é uma incorporação de áudio?
    • Um vetor de números de comprimento fixo que representa as características significativas de um som
    • Uma versão compactada em MP3 do arquivo de áudio
    • Uma transcrição escrita de palavras faladas
    • Um nível de volume medido em decibéis
  2. Por que o aprendizado autossupervisionado é tão importante para incorporações de áudio?
    • Requer que o áudio seja gravado em um estúdio
    • Ele aprende representações úteis de áudio não rotulado, reduzindo a necessidade de rótulos humanos
    • Funciona apenas com música, não com fala
    • Garante precisão de transcrição perfeita
  3. Como o Wav2Vec 2.0 aprende durante o pré-treinamento?
    • Traduzindo o áudio para o francês
    • Memorizando exatamente cada arquivo de treinamento
    • Ao mascarar extensões de áudio e prever a unidade quantizada correta entre distratores
    • Medindo o tamanho do arquivo de cada clipe
  4. O que um modelo como o CLAP alinha em um espaço de incorporação compartilhado?
    • Dois quadros de vídeo diferentes
    • Pixels e histogramas de cores
    • Nível da bateria e uso da CPU
    • Descrições de áudio e texto correspondente
  5. Antes de alimentar uma rede neural com áudio, que transformação comum é frequentemente aplicada?
    • Convertendo-o em um espectrograma ou representação de filtro aprendida
    • Imprimindo como partitura
    • Excluindo todas as frequências acima da audição humana permanentemente
    • Convertendo-o para uma imagem JPEG da capa do álbum
  6. Qual tarefa do mundo real depende diretamente da comparação de incorporações de áudio?
    • Calculando o preço de compra de uma música
    • Diarização do palestrante, descobrir quem falou quando
    • Escolhendo a arte da capa do álbum
    • Configurando o brilho da tela
  7. During contrastive audio-text training, what happens to a matching audio clip and its text description?
    • They are converted into the same raw waveform
    • The text embedding is discarded
    • Their embeddings are pulled closer while mismatched pairs are pushed apart
    • The audio is assigned a speaker name as a class label
  8. Why can one self-supervised audio embedding be reused across several downstream tasks?
    • It stores the original waveform without compression
    • It contains a manually written label for every possible sound
    • It works only for one speaker and one recording
    • It captures general acoustic structure that can support tasks with little extra labeled data