O que é Avaliação Humana?

Um teste padronizado ou conjunto de dados usado para medir e comparar o desempenho do modelo.

Uma referência de problemas de palavras matemáticas do ensino fundamental usado para avaliar o raciocínio passo a passo em modelos de linguagem.

Um conjunto de dados mantido usado para medir a qualidade do modelo após o treinamento.

Cálculo de inferência adicional usado durante a geração de resposta para melhorar a qualidade ou o raciocínio.

Uma métrica de avaliação de código que mede a chance de pelo menos uma das k amostras geradas passar nos testes.

Políticas, padrões e mecanismos de supervisão que orientam a forma como a IA é desenvolvida e utilizada na sociedade.