Referências de IA

Leia a definição da tarefa antes da classificação. Um teste de conhecimento de múltipla escolha, um exercício de codificação e uma comparação de preferências humanas medem resultados diferentes. Mesmo duas pontuações chamadas precisão podem usar regras ou subconjuntos de respostas diferentes. Verifique a versão do modelo, prompt, ferramentas, acesso de recuperação, número de tentativas e data de avaliação. Um sistema que permitiu vários testes ou uma ferramenta de busca externa não está sendo testado nas mesmas condições que uma única resposta sem ajuda. Grave a configuração completa ao reproduzir um resultado. A contaminação do conjunto de dados pode enfraquecer um benchmark quando o material de teste ou variantes aproximadas estavam disponíveis durante o desenvolvimento. A otimização repetida em relação a um teste público também restringe a independência da comparação. Exemplos de aplicação recentes e persistentes ajudam a avaliar se uma capacidade relatada é transferida. Procure incertezas e resultados de subgrupos. Uma pequena diferença em uma amostra pequena pode não ser significativa. Compare o custo e a latência com o sucesso da tarefa e inspecione exemplos de falhas. Um benchmark é mais útil como evidência para uma afirmação de capacidade específica com limites claramente definidos.