Cuestionario vinculado a una guía · duro Nivel

Prueba de susurros de ajuste fino

Adaptación de Plan Whisper utilizando pares de audio y texto alineados, divisiones claras de los hablantes, compensaciones del tamaño del modelo y una evaluación sólida para el olvido.

Rutas de guía relacionadasSusurro de ajuste fino
Pregunta 1 de 8

¿Qué cambia durante el ajuste supervisado de Whisper?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. ¿Qué cambia durante el ajuste supervisado de Whisper?
    • Sólo la transcripción decodificada se edita después de la inferencia.
    • Sólo se cambia la etiqueta de idioma sin formación.
    • Los pesos del modelo se actualizan utilizando ejemplos de audio y texto emparejados.
    • Solo se adjunta una lista estática de ortografía al resultado.
  2. ¿Por qué se deben alinear los segmentos de audio y transcripción?
    • La alineación garantiza el mismo uso de memoria GPU para cada segmento
    • El texto desalineado le enseña al modelo asignaciones incorrectas de voz a texto
    • Un error de alineación es inofensivo si la transcripción contiene vocabulario de dominio.
    • La sincronización correcta garantiza que cada palabra de la transcripción sea precisa
  3. Para evaluar el rendimiento de oradores invisibles cuando cada orador contribuye con muchas grabaciones, ¿cómo se deben dividir los datos?
    • Divida aleatoriamente ventanas superpuestas de cada altavoz
    • Coloque cada altavoz en cada partición
    • Utilice altavoces de prueba únicamente durante el entrenamiento
    • Agrupe por orador antes de crear divisiones de capacitación, validación y prueba.
  4. ¿Qué admite un conjunto de validación retenido durante el ajuste fino?
    • Decisiones de puntos de control e hiperparámetros
    • Ajuste ilimitado seguido de una puntuación final imparcial en ese mismo conjunto.
    • Actualizaciones de degradado utilizando cada etiqueta retenida
    • Una garantía de que la distribución final del despliegue se mantendrá sin cambios.
  5. ¿Qué puede diferir entre dos informes de tasa de error de palabras?
    • Sólo el número de parámetros del modelo.
    • Sólo la pérdida observada en el conjunto de entrenamiento.
    • Convenciones de normalización y tokenización de texto
    • Solo si ambos sistemas usan el mismo nombre de tokenizador
  6. ¿Por qué monitorear un conjunto de dominio general y al mismo tiempo adaptarse a un dominio limitado?
    • Los datos generales siempre reducen la precisión del objetivo
    • La adaptación al objetivo puede reducir el rendimiento fuera de su distribución de entrenamiento
    • El conjunto de prueba debe usarse para actualizaciones de gradiente.
    • El tamaño del modelo cambia automáticamente.
  7. ¿Qué pueden ofrecer los adaptadores de bajo rango cuando la implementación seleccionada los admite?
    • WER más bajo garantizado en todos los dominios
    • Corrección automática de transcripciones mal etiquetadas
    • Una garantía de que ningún comportamiento de dominio general puede cambiar
    • Menos parámetros entrenables durante la adaptación.
  8. ¿Por qué comparar el ajuste fino con los ajustes de decodificación o el soporte de términos de dominio?
    • La capacitación puede agregar costos cuando cambios más simples resuelven el problema
    • Las opciones de decodificación siempre cambian los pesos del modelo.
    • El ajuste fino no puede afectar el comportamiento del vocabulario
    • Una línea de base hace que las etiquetas de prueba sean innecesarias