Viés de IA

Examine como os exemplos e rótulos foram coletados. Populações ausentes, anotações inconsistentes, decisões históricas e medições seletivas podem moldar o que o modelo aprende. Um rótulo-alvo pode refletir um processo antigo, em vez do resultado subjacente com o qual as pessoas se preocupam. Meça o desempenho em grupos e condições relevantes com controles de privacidade adequados. Relate tamanhos de amostra e incerteza. Um pequeno subgrupo pode ter estimativas pouco fiáveis, enquanto uma média global pode esconder uma disparidade grande e praticamente importante. Diferentes critérios de justiça respondem a diferentes questões e podem entrar em conflito. Equalizar uma medida estatística não resolve todas as preocupações éticas ou legais. Escolha critérios com experiência no domínio e a participação das pessoas afetadas pelo sistema. Revise o fluxo de trabalho em torno do modelo. A forma como as previsões são utilizadas, quem pode contestar um resultado e a forma como o feedback é recolhido podem alterar a distribuição dos danos. Avalie as mitigações quanto ao efeito pretendido e possíveis novos problemas. Trate a justiça como uma avaliação contínua em vez de um certificado único.