Prueba de escalamiento de computación en el momento de la prueba

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

1. ¿A qué se refiere el "cómputo en el momento de la prueba"?
   • Computación gastada entrenando el modelo en datos.
   • El tiempo que lleva descargar un modelo.
   • Cálculo gastado cuando el modelo responde a una consulta en la inferencia
   • La electricidad utilizada para enfriar los centros de datos.
2. In test-time scaling studies, what can extra inference compute be used for?
   • Changing the model’s training data during the request
   • Increasing the number of model parameters automatically
   • Guaranteeing correctness without evaluation
   • Searching or revising candidate solutions and checking their quality
3. ¿Cuál es la principal desventaja del escalamiento de la computación en el momento de la prueba?
   • Mayor precisión a cambio de más latencia y coste
   • Menos memoria pero entrenamiento más lento
   • Más datos pero modelos más pequeños
   • Mejores gráficos para menor resolución
4. ¿Qué es el muestreo "mejor de N"?
   • Entrenamiento en los N conjuntos de datos más grandes
   • Generando N respuestas candidatas y seleccionando la mejor
   • Usar solo las primeras N palabras de un mensaje
   • Ejecutar el modelo en N computadoras diferentes para mayor velocidad
5. ¿Por qué el cálculo en el momento de la prueba se considera un nuevo "eje de escala"?
   • Sustituye la necesidad de cualquier formación.
   • Sólo funciona en modelos pequeños.
   • Mejora el rendimiento al agregar cálculo de inferencia en lugar de simplemente aumentar el tamaño del modelo.
   • Reduce la cantidad de usuarios que un modelo puede atender.
6. ¿Qué resultado sorprendente permite el cálculo en el momento de la prueba?
   • Los modelos pueden funcionar sin GPU
   • Los datos de entrenamiento se vuelven innecesarios
   • Los modelos siempre responden más rápido
   • Un modelo más pequeño que piensa más tiempo puede rivalizar con un modelo mucho más grande que responde instantáneamente
7. What is one reason a fixed best-of-N strategy may waste inference compute?
   • It spends the same candidate budget on easy and difficult prompts
   • It modifies model weights on every query
   • It cannot generate multiple candidates
   • It eliminates the need for scoring
8. What did the test-time compute paper compare with best-of-N sampling?
   • A strategy that disables inference
   • A compute-optimal strategy that allocates effort based on expected solution quality
   • A larger tokenizer vocabulary
   • A method that changes image resolution