Cuestionario vinculado a una guía · Medio Nivel

Prueba de sesgo de Logit

Revise cómo el sesgo logit de ID de token altera el muestreo, sus limitaciones de subpalabras y por qué los controles a nivel de token pueden afectar más texto de lo previsto.

Rutas de guía relacionadasSesgo logístico
Pregunta 1 de 8

¿Qué modifica el sesgo logit?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. ¿Qué modifica el sesgo logit?
    • La puntuación (logit) de tokens específicos antes del muestreo.
    • Los pesos de entrenamiento del modelo permanentemente.
    • La temperatura de todo el sistema.
    • El número de tokens en la ventana contextual.
  2. En muchas API, ¿qué logra un sesgo logit de -100 en un token?
    • Hace que el token sea 100 veces más probable
    • Prohíbe efectivamente la generación del token
    • Elimina el token del vocabulario para siempre.
    • Duplica la velocidad del modelo.
  3. What numeric range does the documented OpenAI Chat Completions logit_bias accept for a token?
    • From 0 to 1 only
    • From -1 to 1 only
    • From -100 to 100
    • Any string value
  4. ¿El sesgo logit está relacionado con qué identificador?
    • La palabra de texto plano
    • La posición de la oración
    • El nombre del modelo.
    • El ID del token numérico
  5. Debido a que los logits pasan a través de softmax, ¿cuál es el efecto de agregar un sesgo positivo?
    • Aumenta exponencialmente el peso relativo del token antes de la normalización.
    • Agrega linealmente una probabilidad fija.
    • No tiene efecto hasta el entrenamiento.
    • Elimina el token de consideración.
  6. Una ventaja clave del sesgo logit sobre el ajuste fino es que:
    • Mejora permanentemente el conocimiento del modelo.
    • No requiere reentrenamiento y se aplica por solicitud
    • Aumenta el tamaño de la ventana de contexto.
    • Funciona solo en imágenes
  7. Why should a developer inspect the tokenizer before applying a bias to a visible word?
    • Token IDs are assigned only after sampling
    • Visible words always equal one token
    • The word may be represented by several token IDs, so biasing one ID may not cover all forms
    • The tokenizer controls the model’s training data
  8. What is a practical risk of applying a strong positive bias to one token?
    • It increases the context window
    • It changes the model weights permanently
    • It guarantees the token appears exactly once
    • It can distort generation or produce repetitive, awkward text