Questionário LLM como Juiz

As respostas e explicações aparecem conforme você responde ao teste.

1. A que se refere 'LLM-como-juiz'?
   • Usando um modelo de linguagem para pontuar ou comparar os resultados de outro modelo
   • Usando um modelo de linguagem para escrever veredictos legais
   • Um modelo que responde apenas a perguntas sim/não
   • Um modelo que classifica os resultados da pesquisa por data
2. Qual é a diferença entre julgamento pontual e em pares?
   • Pontualmente é mais rápido; pairwise é mais lento, mas idêntico caso contrário
   • Pontualmente avalia uma resposta em relação a uma rubrica; par escolhe o melhor de dois
   • Pointwise funciona apenas para código; pares apenas para prosa
   • Não há diferença real
3. Qual destes é um preconceito bem documentado em juízes de LLM?
   • Preferindo respostas escritas em letras maiúsculas
   • Sempre preferindo a primeira palavra em ordem alfabética
   • Favorecendo respostas mais longas, independentemente da qualidade
   • Recusando-se a avaliar questões sobre história
4. Como os avaliadores comumente contrariam o viés de posição em comparações entre pares?
   • Mostrando apenas uma resposta por vez
   • Colocando sempre a resposta mais longa primeiro
   • Excluindo o campo de justificativa
   • Executando cada comparação duas vezes com a ordem trocada
5. What evaluation procedure did G-Eval use for generated text?
   • Chain-of-thought steps followed by a form-filling evaluation against criteria
   • A speaker verification threshold
   • A search index with BM25 only
   • An image classifier trained on screenshots
6. Como uma equipe pode confirmar que um juiz LLM permanece alinhado com as preferências humanas?
   • Nunca verificando novamente após a configuração
   • Calibrando-o contra um conjunto de ouro rotulado por humanos
   • Fazendo com que o próprio juiz se avalie
   • Usando apenas nos finais de semana
7. What is self-preference bias in LLM-based evaluation?
   • A judge always selects the shortest answer
   • A judge cannot compare two outputs
   • A judge favors outputs generated by its own model or model family
   • A judge evaluates only audio signals
8. What does G-Eval use to make its discrete score more fine-grained in the reported method?
   • The position of the answer in a pairwise comparison
   • The judge model’s parameter count only
   • A count of citations in the answer
   • Probability weights over the candidate score tokens