IA e dados

Sua utilidade depende da relevância, qualidade da medição, permissões e cobertura da tarefa pretendida. Mais registros não corrigem automaticamente erros sistemáticos ou populações ausentes.

Principais conclusões

• Defina a unidade de um exemplo.
• Use apenas as informações disponíveis no momento da previsão.
• Rastreie a proveniência dos dados, a ausência e a cobertura de subgrupos.

Comece definindo o que um exemplo representa. Uma linha pode descrever um cliente, uma transação, uma fotografia ou um momento em uma série temporal. Essas unidades determinam como duplicados, rótulos e divisões de avaliação devem funcionar. Dez medições de um dispositivo não são necessariamente dez dispositivos independentes. Recursos são entradas disponíveis para o modelo. Rótulos são resultados-alvo usados no aprendizado supervisionado. Verifique quando cada recurso fica disponível: um motivo de cancelamento registrado após a saída de um cliente não pode prever essa saída de forma justa antes. Essa é uma forma de vazamento mesmo quando o campo parece altamente preditivo. Inspecione valores ausentes, discordâncias de anotação, intervalos incomuns e mudanças nos métodos de coleta. Informações ausentes podem ter significado; substituir cada valor faltando por zero pode confundir uma quantidade desconhecida com um zero real. Documente o tratamento e teste em exemplos representativos. Registre regras de proveniência e acesso junto com o conjunto de dados. Uma URL pública sozinha não estabelece permissão para reutilizar todos os itens para todos os propósitos. Colete apenas as informações necessárias para a tarefa e defina procedimentos de retenção e exclusão. Avalie separadamente grupos ou condições onde erros desapareceriam dentro de uma média geral.

1. Imagine registros com data de inscrição, uso mensal, data de cancelamento e motivo do cancelamento.
2. Para prever cancelamentos no início de junho, congele todas as entradas nessa data. Remova razões e datas registradas após o horário de previsão.
3. Treine em períodos mais antigos e teste em um período posterior intocado. Compare os resultados com e sem os campos vazados.

Esse exercício hipotético de design identifica um atalho inválido antes que uma pontuação lisonjeira se torne uma decisão de implantação.