Cuestionario vinculado a una guía · Medio Nivel

Prueba de predicción del siguiente token

Revise la formación en modelos de lenguaje autorregresivos, el contexto causal, el forzamiento del profesor y la diferencia entre formación y generación.

Rutas de guía relacionadasPredicción del siguiente token
Pregunta 1 de 8

¿Qué genera un modelo de predicción del siguiente token en cada paso?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. ¿Qué genera un modelo de predicción del siguiente token en cada paso?
    • Una distribución de probabilidad sobre el vocabulario del siguiente token.
    • Una sola palabra fija
    • Una traducción de la frase.
    • una partitura gramatical
  2. ¿Qué tipo de atención utiliza un decodificador estilo GPT?
    • Atención bidireccional
    • Atención causal (enmascarada) que oculta tokens futuros
    • Ninguna atención en absoluto
    • Atención aleatoria
  3. ¿Qué significa aquí generación "autoregresiva"?
    • El modelo genera todos los tokens a la vez.
    • El modelo regresa a un valor medio.
    • Cada nuevo token se agrega y se retroalimenta para predecir el siguiente
    • Los tokens se generan en orden aleatorio.
  4. ¿Qué función de pérdida suele minimizarse durante el entrenamiento?
    • Error cuadrático medio
    • Pérdida de bisagra
    • Distancia del coseno
    • Entropía cruzada sobre el siguiente token
  5. ¿Qué hace el aumento de la temperatura durante el muestreo?
    • Hace que la salida sea más aleatoria y creativa
    • Hace que la salida sea estrictamente determinista
    • Aumenta el tamaño del vocabulario.
    • Elimina la capa softmax.
  6. Antes de la predicción, ¿cómo se suele preparar el texto sin formato?
    • Esta traducido al ingles
    • Se divide en tokens mediante un tokenizador.
    • Se convierte a audio.
    • Se deja como caracteres sin procesar sin procesamiento.
  7. During next-token training, what is teacher forcing?
    • The model receives future target tokens before the input
    • The model randomly changes the tokenizer at every step
    • The model receives the ground-truth preceding tokens when predicting the next token
    • The model always samples its own previous prediction during training
  8. What mismatch can arise because generation feeds back model-produced tokens?
    • The model can no longer use attention
    • The vocabulary disappears after the first token
    • The model’s loss is computed only on images
    • Errors in generated prefixes can affect later predictions, unlike training on the ground-truth prefix