Prueba de modelado de contexto largo

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

1. ¿A qué se refiere la 'ventana contextual' de un modelo?
   • La cantidad máxima de tokens que puede atender en una sola pasada.
   • El tamaño de pantalla de la interfaz de chat.
   • El número de usuarios permitidos a la vez.
   • ¿Cuánto tiempo ha sido entrenado el modelo?
2. ¿Por qué la autoatención estándar se vuelve costosa para entradas largas?
   • Crece linealmente y siempre es barato.
   • Su computación y memoria crecen cuadráticamente con la longitud de la secuencia.
   • No puede leer más de un token.
   • Sólo funciona en imágenes.
3. ¿Cuál es el problema de "perdido en el medio"?
   • Los modelos olvidan por completo su entrenamiento.
   • Los modelos solo pueden leer la mitad de un documento.
   • Los modelos recuerdan mejor la información al principio y al final de una entrada larga que los hechos enterrados en el medio.
   • Los modelos traducen el medio a otro idioma.
4. ¿Qué mejora principalmente FlashAttention?
   • Hace que el modelo genere un texto más largo.
   • Agrega más datos de entrenamiento automáticamente.
   • Elimina la necesidad de cualquier atención.
   • Reduce el cuello de botella de la memoria con un cálculo en mosaico consciente de IO
5. ¿Qué papel juegan las incrustaciones de posición rotatoria (RoPE) en modelos de contexto largo?
   • Codifican posiciones de tokens y, con interpolación, ayudan a generalizar a secuencias más largas.
   • Eliminan tokens del input
   • Traducen texto entre idiomas
   • Almacenan los pesos del modelo.
6. What does prompt-cache research reuse across compatible requests?
   • The final answer regardless of the new query
   • Computed attention state for reusable prompt segments
   • A fixed set of token IDs without model computation
   • The model’s training data
7. What does the RULER benchmark add beyond locating one isolated “needle” fact?
   • Sólo clasificación de imágenes.
   • Audio transcription from waveforms
   • Tasks such as multi-hop tracing and aggregation over long contexts
   • GPU memory allocation benchmarks
8. Why test several task types when measuring a model’s effective context length?
   • Every task uses the same computation
   • The advertised window guarantees all tasks work
   • Task type never affects context use
   • A model may handle simple retrieval yet fail to combine or track information across a long input