Questionário de dimensionamento de computação em tempo de teste

As respostas e explicações aparecem conforme você responde ao teste.

1. A que se refere 'computação em tempo de teste'?
   • Computação gasta treinando o modelo em dados
   • O tempo que leva para baixar um modelo
   • Computação gasta quando o modelo responde a uma consulta na inferência
   • A eletricidade usada para resfriar data centers
2. In test-time scaling studies, what can extra inference compute be used for?
   • Changing the model’s training data during the request
   • Increasing the number of model parameters automatically
   • Guaranteeing correctness without evaluation
   • Searching or revising candidate solutions and checking their quality
3. Qual é a principal compensação do escalonamento computacional em tempo de teste?
   • Maior precisão em troca de mais latência e custo
   • Menos memória, mas treinamento mais lento
   • Mais dados, mas modelos menores
   • Melhores gráficos para resolução mais baixa
4. O que é amostragem 'melhor de N'?
   • Treinamento nos N maiores conjuntos de dados
   • Gerando N respostas candidatas e selecionando a melhor
   • Usando apenas as primeiras N palavras de um prompt
   • Executando o modelo em N computadores diferentes para obter velocidade
5. Por que a computação em tempo de teste é considerada um novo “eixo de escala”?
   • Substitui a necessidade de qualquer treinamento
   • Funciona apenas em modelos pequenos
   • Melhora o desempenho adicionando computação de inferência em vez de apenas aumentar o tamanho do modelo
   • Reduz o número de usuários que um modelo pode atender
6. Que resultado surpreendente a computação em tempo de teste permite?
   • Os modelos podem ser executados sem GPUs
   • Os dados de treinamento tornam-se desnecessários
   • Os modelos sempre respondem mais rápido
   • Um modelo menor que pensa por mais tempo pode rivalizar com um modelo muito maior que responde instantaneamente
7. What is one reason a fixed best-of-N strategy may waste inference compute?
   • It spends the same candidate budget on easy and difficult prompts
   • It modifies model weights on every query
   • It cannot generate multiple candidates
   • It eliminates the need for scoring
8. What did the test-time compute paper compare with best-of-N sampling?
   • A strategy that disables inference
   • A compute-optimal strategy that allocates effort based on expected solution quality
   • A larger tokenizer vocabulary
   • A method that changes image resolution