Cuestionario vinculado a una guía · duro Nivel

Prueba sobre métodos de detección de alucinaciones

Prueba el muestreo de autoconsistencia, la vinculación a nivel de reclamo con fuentes, señales de incertidumbre como la entropía semántica y la validación de modelos de jueces.

Rutas de guía relacionadasMétodos de detección de alucinaciones
Pregunta 1 de 8

¿Qué observación subyace a los métodos de autoconsistencia como SelfCheckGPT?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. ¿Qué observación subyace a los métodos de autoconsistencia como SelfCheckGPT?
    • When a model knows a fact, repeated samples tend to agree, while fabricated details tend to vary
    • Models always give identical answers to repeated questions
    • Longer answers are always more accurate
    • Setting temperature to zero removes all hallucinations
  2. ¿Cuál es una limitación clave de la verificación de la autoconsistencia?
    • It requires a large labeled dataset before use
    • It works only on image outputs
    • It misses errors the model repeats consistently, and it costs extra model calls
    • It cannot run without retrieved source documents
  3. ¿Qué miden realmente los controles de vinculación basados ​​en la fuente?
    • The model's training cutoff date
    • Faithfulness to the provided sources, which is not the same as truth if the sources are wrong
    • How quickly the model responds
    • Grammar and spelling quality
  4. ¿En qué se diferencia la entropía semántica de la simple incertidumbre a nivel de token?
    • It counts the number of words in each answer
    • It relies only on human raters
    • It avoids sampling multiple answers
    • It groups sampled answers by meaning before measuring uncertainty
  5. ¿Por qué la guía recomienda exigir al verificador que cite el tramo de soporte?
    • Hace que la salida sea más corta.
    • It makes verification auditable, and a simple string match confirms the quote appears in the source
    • It makes the verifier more creative
    • It reduces verification cost to zero
  6. Which checks should run first in a detection pipeline?
    • Cheap deterministic checks, such as confirming that cited URLs, IDs or case numbers exist
    • Full human review of every answer
    • Fine-tuning the model on the flagged answers
    • Semantic entropy on every token
  7. What caveat applies to using an LLM as a judge?
    • Judges cannot read source documents
    • Judges work only in English
    • Judges are always correct
    • Judges have their own biases and error rates, so they should be checked against human labels
  8. Why is simply asking a model 'are you sure?' an unreliable detection method?
    • Models cannot read follow-up questions
    • It is prohibited by API terms
    • Models may abandon correct answers or defend wrong ones
    • Duplica el tamaño de la ventana de contexto.