Cuestionario vinculado a una guía · duro Nivel

Prueba de muestreo típica

Comprueba la sorpresa típica, la clasificación basada en entropía, el umbral de masa típico_p y las diferencias con el muestreo top-p con clasificación de probabilidad.

Rutas de guía relacionadasMuestreo típico
Pregunta 1 de 8

¿Con qué cantidad central el muestreo típico compara cada token candidato?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. ¿Con qué cantidad central el muestreo típico compara cada token candidato?
    • El contenido de información esperado (entropía) de la distribución.
    • El tamaño general del vocabulario del modelo.
    • La posición del token en la oración.
    • El parámetro de temperatura solo
  2. ¿Cómo trata el muestreo típico el token más probable?
    • Siempre lo selecciona primero
    • Podrá excluirlo si su sorpresa es muy inferior al valor esperado.
    • Duplica su probabilidad
    • Ignora la probabilidad por completo.
  3. ¿Qué idea sobre el lenguaje humano motivó el muestreo típico?
    • Los humanos siempre eligen las palabras más raras posibles.
    • Los humanos nunca repiten palabras
    • Los humanos se comunican a un ritmo de información casi constante
    • Los humanos hablan en oraciones de longitud fija.
  4. ¿Qué controla el parámetro tau en el muestreo típico?
    • La tasa de aprendizaje durante el entrenamiento.
    • El número de capas en el modelo.
    • La longitud máxima de la oración
    • La masa de probabilidad acumulada recopilada en el conjunto típico.
  5. Compared with greedy decoding, what does typical sampling try to change?
    • It samples from tokens whose surprisal is closer to the distribution’s expected surprisal
    • It always selects the most probable token
    • It guarantees every continuation is factually correct
    • It removes probability scores from decoding
  6. ¿En qué tipo de software el muestreo típico se expone comúnmente a los desarrolladores?
    • Aplicaciones de hoja de cálculo
    • Bibliotecas de inferencia LLM de código abierto como Hugging Face Transformers
    • Herramientas de edición de imágenes
    • Motores de consulta de bases de datos
  7. How does typical sampling rank candidate tokens differently from top-p sampling?
    • By alphabetical order of token strings
    • By token position in the prompt
    • By distance between token surprisal and expected surprisal, rather than probability rank alone
    • By the model’s training loss
  8. Which value does typical_p control?
    • The model’s vocabulary size
    • The number of transformer layers
    • The probability that the answer is factually correct
    • The target cumulative probability mass collected in the typical set