Cuestionario vinculado a una guía · Medio Nivel

Prueba de ajuste rápido

Revise las indicaciones suaves en la capa de entrada, la configuración del modelo congelado y los resultados dependientes de la escala informados para el ajuste de indicaciones.

Rutas de guía relacionadasSintonización rápida
Pregunta 1 de 8

¿Qué es un 'aviso suave' en el ajuste de avisos?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. ¿Qué es un 'aviso suave' en el ajuste de avisos?
    • Vectores de incrustación continua aprendidos que no necesitan asignarse a palabras reales
    • Una instrucción de texto redactada cortésmente
    • Una copia destilada más pequeña del modelo.
    • Un conjunto de logits de salida congelados
  2. ¿Dónde agrega el ajuste rápido sus vectores entrenables?
    • En cada capa transformadora
    • Solo en la capa de incrustación de entrada
    • Sólo en la capa de salida
    • Dentro del estado del optimizador
  3. ¿Qué efecto sorprendente destacó el artículo original sobre la escala del modelo?
    • La sintonización rápida empeora a medida que los modelos crecen
    • La escala no tiene ningún efecto sobre la sintonización rápida
    • A medida que los modelos crecen, el ajuste rápido se acerca a la calidad del ajuste fino
    • Los modelos más grandes ya no se pueden ajustar rápidamente
  4. ¿Quién introdujo la sintonización rápida?
    • Mente profunda en 2016
    • Anthropic en 2023
    • Microsoft en 2019
    • Investigadores de Google (Lester, Al-Rfou, Constant) en 2021
  5. ¿Cómo permite el ajuste rápido realizar muchas tareas desde un modelo?
    • Cada tarea utiliza su propio pequeño mensaje suave mientras el modelo permanece congelado.
    • Vuelve a entrenar todo el modelo para cada solicitud.
    • Elimina tareas no utilizadas de los pesos.
    • Requiere una GPU separada por tarea
  6. How does Lester and colleagues’ paper describe prompt tuning in relation to prefix tuning?
    • As a replacement for frozen language models
    • As a simpler related method that the paper compares with prefix tuning
    • As a tokenizer with no trainable parameters
    • As a method that updates every model weight
  7. Which model family did Lester and colleagues use to study prompt tuning across scales?
    • OndaNet
    • AlphaFold2
    • T5
    • Bosque de aislamiento
  8. How are soft prompts optimized in prompt tuning?
    • By changing all model weights for each task
    • By replacing embeddings with hard-coded words only
    • By training a new tokenizer for every example
    • By backpropagation through a frozen language model to update the prompt vectors