Cuestionario vinculado a una guía · Medio Nivel

Prueba de ajuste de prefijos

Evalúe el enfoque de columna vertebral congelada del ajuste de prefijos, el ahorro de parámetros por tarea, la ubicación de la capa de atención y los resultados en tareas de generación de lenguaje natural.

Rutas de guía relacionadasAjuste de prefijo
Pregunta 1 de 8

¿Qué entrena realmente la sintonización de prefijos?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. ¿Qué entrena realmente la sintonización de prefijos?
    • Todos los pesos de transformador del modelo.
    • Solo la capa de vocabulario de salida del modelo.
    • Una copia separada del modelo para cada tarea.
    • Un pequeño conjunto de vectores de prefijo continuos mientras el modelo permanece congelado
  2. ¿Dónde se inyectan los vectores de prefijo?
    • En las claves y valores en cada capa de atención
    • Sólo en la capa de salida final
    • Solo en la función de pérdida
    • En el tokenizador antes de incrustarlo
  3. ¿Quién introdujo el ajuste de prefijos y aproximadamente cuándo?
    • OpenAI en 2018
    • Li y Liang en Stanford en 2021
    • Google en 2015
    • Meta en 2023
  4. ¿Por qué el ajuste de prefijos es atractivo para muchas tareas?
    • No requiere ningún dato de entrenamiento
    • Hace que la inferencia se ejecute sin hardware.
    • Cada tarea necesita sólo un pequeño prefijo en lugar de una copia completa del modelo.
    • Reescribe permanentemente el modelo base para todas las tareas a la vez.
  5. ¿Qué truco se utiliza a menudo para estabilizar el entrenamiento de prefijos?
    • Duplicar la tasa de aprendizaje en cada paso
    • Congelar el prefijo y entrenar el modelo.
    • Eliminando todas las capas de atención
    • Reparametrización del prefijo a través de una pequeña red feed-forward que luego se descarta
  6. ¿En qué tipo de tareas destacó especialmente la sintonización de prefijos?
    • Generación de lenguaje natural como tabla a texto y resumen.
    • Clasificación de imágenes
    • Síntesis de formas de onda de audio
    • Indexación de bases de datos
  7. What proportion of model parameters did the original prefix-tuning paper report learning in its experiments?
    • About 10%
    • About 0.1%
    • Alrededor del 50%
    • All model parameters
  8. How did prefix-tuning perform in the paper’s low-data settings?
    • It always matched full fine-tuning on every task
    • It could not train with limited examples
    • It outperformed full fine-tuning in some evaluated low-data cases
    • It changed every backbone parameter