Curvas ROC e AUC
Uma curva ROC representa quão bem um classificador separa duas classes em todos os limites de decisão possíveis, e AUC compacta toda a curva em um número.
Visão geral
Together they tell you ranking quality independent of where you draw the cutoff.
Mergulho profundo
Uma curva Receiver Operating Characteristic (ROC) representa a taxa de verdadeiro positivo (sensibilidade, no eixo y) em relação à taxa de falso positivo (1 menos a especificidade, no eixo x) à medida que você desliza o limite de classificação de 1 para 0. Cada limite fornece um ponto; conectá-los traça a curva. Um modelo que classifica todos os aspectos positivos acima de todos os negativos abrange o canto superior esquerdo. A Área Sob a Curva (AUC) mede a área total abaixo desta linha, variando de 0,5 (adivinhação aleatória, a diagonal) a 1,0 (perfeita). Uma interpretação útil: AUC é igual à probabilidade de o modelo pontuar um positivo escolhido aleatoriamente mais alto do que um negativo escolhido aleatoriamente. O termo vem dos operadores de radar da Segunda Guerra Mundial, distinguindo sinal de ruído.
Visão Técnica
AUC é independente do limite porque integra o desempenho em todos os limites, portanto não é afetado pelo local onde você define o limite de decisão. É matematicamente equivalente à estatística U de Mann-Whitney e ao teste de soma de postos de Wilcoxon, o que significa que depende apenas da ordem de classificação das pontuações previstas, não dos seus valores absolutos. Isto o torna estável sob transformações de pontuação monotônicas, mas também insensível à calibração: um modelo bem classificado, mas mal calibrado, ainda pode obter uma AUC alta.
Impacto Estratégico
Decisões mais claras
Ajuda a separar afirmações técnicas claras da linguagem de marketing.
Custo e orçamento
Você pode fazer perguntas melhores sobre implementação antes de gastar dinheiro ou tempo.
Equipe e fluxo de trabalho
Equipes com entendimento compartilhado tomam melhores decisões sobre produtos, políticas e aprendizado.
O futuro das curvas ROC e AUC
O ROC-AUC continua a ser uma métrica de relatório padrão, mas os profissionais a associam cada vez mais às curvas Precision-Recall para dados fortemente desequilibrados, onde o ROC pode parecer enganosamente otimista. Espera-se uma adopção mais ampla da CUA parcial (com foco na região com baixo índice de falsos positivos que é importante do ponto de vista operacional), análise sensível aos custos e da curva de decisão, e relatórios da CUA por subgrupo para revelar lacunas de justiça. À medida que os modelos alimentam decisões reais, as métricas de calibração e a AUC serão cada vez mais reportadas lado a lado, em vez de apenas a AUC.
Implementação no mundo real
Comparar dois modelos de detecção de fraude para um banco por sua AUC para escolher aquele que melhor classifica as transações fraudulentas acima das legítimas
Avaliar um teste de diagnóstico para uma doença (por exemplo, um classificador de rastreio de cancro) onde os radiologistas precisam de compensar a captura de mais casos contra alarmes falsos
Ajustando o limite de um filtro de spam usando a curva ROC para manter os falsos positivos (e-mails legítimos sinalizados como spam) muito baixos
Comparação de um modelo de pontuação de inadimplência de crédito onde AUC resume quão bem separa os mutuários que pagam daqueles que inadimplentes
Riscos e guarda-corpos
Equipes diferentes podem usar o mesmo termo de maneira diferente, portanto, defina o escopo com antecedência.
Os benchmarks podem parecer fortes, enquanto o desempenho no mundo real é irregular.
Ignorar a qualidade dos dados e os planos de avaliação cria frequentemente resultados frágeis.
Roteiro de implementação
Comece com uma definição em linguagem simples do resultado que você precisa.
Escolha uma métrica de sucesso e uma condição de falha antes de testar.
Execute um pequeno piloto com dados representativos, não um conjunto de demonstração sofisticado.
Documente onde as curvas ROC e AUC ajudam e onde métodos mais simples são melhores.
Continue explorando
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the ROC Curves and AUC quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Próximo guia
Troca entre polarização e variância
Perguntas frequentes
What is ROC Curves and AUC?
Uma curva ROC representa quão bem um classificador separa duas classes em todos os limites de decisão possíveis, e AUC compacta toda a curva em um número. Juntos, eles informam a qualidade da classificação, independentemente de onde você traça o ponto de corte.
Quais são as duas quantidades que uma curva ROC representa uma em relação à outra?
Uma curva ROC representa graficamente a taxa de verdadeiros positivos (sensibilidade) no eixo y em relação à taxa de falsos positivos (1 - especificidade) no eixo x através dos limites.
Qual valor de AUC corresponde a um classificador que não tem desempenho melhor do que adivinhação aleatória?
Um classificador aleatório traça a linha diagonal, fornecendo uma AUC de 0,5. Uma AUC de 1,0 é perfeita e 0,0 significa que todas as classificações são obtidas exatamente ao contrário.
Porque é que a AUC é descrita como “independente de limiar”?
AUC resume toda a curva ROC, que é gerada pela varredura de cada limite, portanto, não depende de nenhum ponto de corte escolhido.
Para um conjunto de dados fortemente desequilibrado, qual curva é frequentemente recomendada ao lado ou em vez do ROC porque o ROC pode parecer excessivamente otimista?
Em problemas raros-positivos, o grande número de verdadeiros negativos mantém a taxa de falsos positivos baixa, inflacionando o ROC. As curvas Precision-Recall concentram-se na classe positiva e revelam o desempenho de forma mais honesta.