A seguirPróximo guia
Precisão Média e PR-AUC
Técnico
GUIA de fundamentos
Curvas ROC e AUC
Uma curva ROC representa quão bem um classificador separa duas classes em todos os limites de decisão possíveis, e AUC compacta toda a curva em um número.
Ouça este guiaNarrado por IA · ~2 min
Nesta página2 minutos de leitura
Visão geral
Together they tell you ranking quality independent of where you draw the cutoff.
Mergulho profundo
Uma curva Receiver Operating Characteristic (ROC) representa a taxa de verdadeiro positivo (sensibilidade, no eixo y) em relação à taxa de falso positivo (1 menos a especificidade, no eixo x) à medida que você desliza o limite de classificação de 1 para 0. Cada limite fornece um ponto; conectá-los traça a curva. Um modelo que classifica todos os aspectos positivos acima de todos os negativos abrange o canto superior esquerdo. A Área Sob a Curva (AUC) mede a área total abaixo desta linha, variando de 0,5 (adivinhação aleatória, a diagonal) a 1,0 (perfeita). Uma interpretação útil: AUC é igual à probabilidade de o modelo pontuar um positivo escolhido aleatoriamente mais alto do que um negativo escolhido aleatoriamente. O termo vem dos operadores de radar da Segunda Guerra Mundial, distinguindo sinal de ruído.
Implementação no mundo real
Comparar dois modelos de detecção de fraude para um banco por sua AUC para escolher aquele que melhor classifica as transações fraudulentas acima das legítimas
Avaliar um teste de diagnóstico para uma doença (por exemplo, um classificador de rastreio de cancro) onde os radiologistas precisam de compensar a captura de mais casos contra alarmes falsos
Ajustando o limite de um filtro de spam usando a curva ROC para manter os falsos positivos (e-mails legítimos sinalizados como spam) muito baixos
Comparação de um modelo de pontuação de inadimplência de crédito onde AUC resume quão bem separa os mutuários que pagam daqueles que inadimplentes
O futuro das curvas ROC e AUC
O ROC-AUC continua a ser uma métrica de relatório padrão, mas os profissionais a associam cada vez mais às curvas Precision-Recall para dados fortemente desequilibrados, onde o ROC pode parecer enganosamente otimista. Espera-se uma adopção mais ampla da CUA parcial (com foco na região com baixo índice de falsos positivos que é importante do ponto de vista operacional), análise sensível aos custos e da curva de decisão, e relatórios da CUA por subgrupo para revelar lacunas de justiça. À medida que os modelos alimentam decisões reais, as métricas de calibração e a AUC serão cada vez mais reportadas lado a lado, em vez de apenas a AUC.
Colocando em prática
Por que isso importa
- Decisões mais claras. Ajuda a separar afirmações técnicas claras da linguagem de marketing.
- Custo e orçamento. Você pode fazer perguntas melhores sobre implementação antes de gastar dinheiro ou tempo.
- Equipe e fluxo de trabalho. Equipes com entendimento compartilhado tomam melhores decisões sobre produtos, políticas e aprendizado.
Cuidado com
- Equipes diferentes podem usar o mesmo termo de maneira diferente, portanto, defina o escopo com antecedência.
- Os benchmarks podem parecer fortes, enquanto o desempenho no mundo real é irregular.
- Ignorar a qualidade dos dados e os planos de avaliação cria frequentemente resultados frágeis.
Próximas etapas
- Comece com uma definição em linguagem simples do resultado que você precisa.
- Escolha uma métrica de sucesso e uma condição de falha antes de testar.
- Execute um pequeno piloto com dados representativos, não um conjunto de demonstração sofisticado.
- Documente onde as curvas ROC e AUC ajudam e onde métodos mais simples são melhores.
Continue explorando
Boletim informativo gratuito
Receba o resumo diário de IA
Três histórias verificadas de IA a cada manhã de dia útil, escritas em linguagem simples. Gratuito para sempre, sem anúncios.
Um e-mail a cada dia útil. Cancele a inscrição com um clique. Nunca vendemos ou compartilhamos seu endereço.
Teste você mesmo
Take the ROC Curves and AUC quiz
Feedback instantâneo sobre cada resposta e um certificado compartilhável com um ID verificável assim que você concluir um curso.
Apoie a educação gratuita em IA. O AI Understanding é uma organização sem fins lucrativos 501(c)(3) — sem anúncios, sem paywall, nunca. Faça uma doação
Perguntas frequentes
What is ROC Curves and AUC?
Uma curva ROC representa quão bem um classificador separa duas classes em todos os limites de decisão possíveis, e AUC compacta toda a curva em um número. Juntos, eles informam a qualidade da classificação, independentemente de onde você traça o ponto de corte.
Quais são as duas quantidades que uma curva ROC representa uma em relação à outra?
Uma curva ROC representa graficamente a taxa de verdadeiros positivos (sensibilidade) no eixo y em relação à taxa de falsos positivos (1 - especificidade) no eixo x através dos limites.
Qual valor de AUC corresponde a um classificador que não tem desempenho melhor do que adivinhação aleatória?
Um classificador aleatório traça a linha diagonal, fornecendo uma AUC de 0,5. Uma AUC de 1,0 é perfeita e 0,0 significa que todas as classificações são obtidas exatamente ao contrário.
Porque é que a AUC é descrita como “independente de limiar”?
AUC resume toda a curva ROC, que é gerada pela varredura de cada limite, portanto, não depende de nenhum ponto de corte escolhido.
Para um conjunto de dados fortemente desequilibrado, qual curva é frequentemente recomendada ao lado ou em vez do ROC porque o ROC pode parecer excessivamente otimista?
Em problemas raros-positivos, o grande número de verdadeiros negativos mantém a taxa de falsos positivos baixa, inflacionando o ROC. As curvas Precision-Recall concentram-se na classe positiva e revelam o desempenho de forma mais honesta.
Why can a model have a high ROC-AUC but poorly calibrated probability estimates?
The guide notes that AUC depends on rank order and is insensitive to calibration; monotonic transformations can preserve rankings while altering the probability scale.
Continue aprendendo
Guias relacionados
Mais guias escolhidos para este tópico