Prueba de contaminación de referencia

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

1. ¿Qué es la contaminación de referencia?
   • Cuando un punto de referencia contiene claves de respuestas incorrectas
   • Cuando un modelo se prueba con muy pocas preguntas
   • Cuando los elementos de la prueba comparativa o sus respuestas aparecen en los datos de entrenamiento de un modelo
   • Cuando dos puntos de referencia miden la misma habilidad
2. ¿Cuál es el propósito de la cadena canaria incluida en las tareas de BIG-bench?
   • Para permitir que los equipos de datos filtren esos documentos a partir de datos de entrenamiento y prueben si un modelo los vio.
   • Para cifrar las respuestas
   • Para marcar qué tareas son las más difíciles
   • Identificar qué modelo generó cada respuesta.
3. ¿Qué sugiere el estudio GSM1k?
   • Todos los modelos obtuvieron puntuaciones más altas en los nuevos problemas.
   • GSM8K no tiene errores
   • La contaminación no se puede medir sin datos de entrenamiento
   • Algunos modelos obtuvieron puntuaciones notablemente más bajas en problemas nuevos y coincidentes que en GSM8K
4. ¿Qué análisis de superposición realizó el artículo GPT-3?
   • Incrustar similitud en documentos completos
   • Superposición de 13 gramos entre los puntos de referencia y los datos de entrenamiento
   • Revisión humana de cada documento de formación.
   • Min-K% Prob en cada punto de referencia
5. ¿Cuál es la idea central de Min-K% Prob?
   • Eliminar el k porcentaje menos común de palabras de los datos de entrenamiento
   • Entrenando un segundo modelo para clasificar texto contaminado
   • El texto que el modelo ha visto tiende a tener pocos tokens de muy baja probabilidad.
   • Medir la longitud de las respuestas del modelo.
6. ¿Cómo ayuda una división basada en el tiempo, como en LiveCodeBench, a detectar la contaminación?
   • Compara el rendimiento de los problemas publicados antes y después del límite de entrenamiento del modelo.
   • Mide cuánto tiempo tarda el modelo en responder.
   • Divide el modelo en capas más antiguas y más nuevas.
   • Sólo cuenta problemas respondidos dentro de un límite de tiempo.
7. ¿Por qué no encontrar una superposición exacta no demuestra que un punto de referencia esté limpio?
   • La coincidencia exacta es demasiado lenta para ejecutarse
   • Los puntos de referencia cambian sus respuestas con el tiempo
   • Los modelos nunca memorizan el texto exacto
   • Las copias parafraseadas o traducidas pueden pasar desapercibidas para las coincidencias de cadenas
8. En la descontaminación de n-gramas, ¿qué sucede si n se elige demasiado pequeño?
   • Se pierden casi copias con pequeñas ediciones
   • Se marcan muchos falsos positivos de frases comunes
   • El filtro deja de funcionar por completo.
   • Sólo se comparan las respuestas, no las preguntas.