Modelos generativos baseados em pontuação
Modelos generativos baseados em pontuação criam dados aprendendo o gradiente da distribuição de dados – a direção que faz com que qualquer amostra ruidosa pareça mais com dados reais.
Visão geral
This score-function view unifies diffusion models with stochastic differential equations and underpins many modern image generators.
Mergulho profundo
Em vez de modelar diretamente a probabilidade, os modelos baseados em pontuação aprendem a pontuação: o gradiente da densidade logarítmica de probabilidade em relação à entrada. Saber como deslocar uma amostra para aumentar sua probabilidade é suficiente para gerar novos dados. O trabalho de Yang Song e Stefano Ermon de 2019 treinou uma rede para estimar essa pontuação em muitos níveis de ruído usando correspondência de pontuação de eliminação de ruído e, em seguida, gerou amostras com dinâmica de Langevin - percorrendo repetidamente a pontuação e adicionando um pouco de ruído. Seu artigo SDE de pontuação de 2021 mostrou que os modelos de difusão e baseados em pontuação são duas faces do mesmo processo contínuo descrito por uma equação diferencial estocástica. Crucialmente, cada SDE tem uma EDO de “fluxo de probabilidade” determinística correspondente que compartilha as mesmas marginais, permitindo probabilidades exatas e amostragem rápida.
Visão Técnica
Estimar diretamente a pontuação de dados limpos é difícil onde os dados são esparsos, portanto, o modelo é treinado em dados perturbados por ruído gaussiano em múltiplas escalas. A correspondência da pontuação de eliminação de ruído fornece um alvo tratável: a pontuação da distribuição do ruído é igual à direção do ruído dividida pela variação do ruído, portanto, prever o ruído e prever a pontuação são essencialmente a mesma coisa. A amostragem resolve o SDE de tempo reverso (ou o EDO de fluxo de probabilidade equivalente) começando com ruído gaussiano puro.
Impacto Estratégico
Velocidade e escala
A IA visual pode automatizar tarefas de inspeção, detecção e marcação em grande escala.
Escolhas de construção
As equipes criativas podem criar protótipos de conceitos mais rapidamente e com menos revisões manuais.
Equipe e fluxo de trabalho
As operações podem usar sinais de imagem e vídeo que antes eram difíceis de processar.
O futuro dos modelos generativos baseados em pontuação
A estrutura score-SDE é o motor teórico por trás de grande parte do progresso da IA generativa. Solucionadores numéricos mais rápidos, melhores cronogramas de ruído e a EDO de fluxo de probabilidade estão permitindo a geração quase em tempo real e a avaliação de probabilidade exata. A mesma ideia de correspondência de pontuação está se espalhando além das imagens para o design de estruturas de áudio, moleculares e proteicas, nuvens de pontos e simulação científica, enquanto modelos de consistência e correspondência de fluxo são construídos diretamente sobre essas bases de tempo contínuo para reduzir a geração a um punhado de etapas.
Implementação no mundo real
Redes de pontuação condicional de ruído (NCSN) gerando faces fotorrealistas seguindo gradientes de pontuação aprendidos por meio da dinâmica de Langevin.
Reconstrução de imagens médicas, como ressonância magnética acelerada, onde a pontuação aprendida atua como um pré-preenchimento de dados de varredura subamostrados.
Geração de estruturas moleculares e proteicas na descoberta de medicamentos, modelando configurações atômicas 3D com difusão baseada em pontuação.
Síntese de formas de onda de áudio onde os modelos de partitura eliminam o ruído em direção a fala ou música limpa, como em vocoders baseados em difusão.
Riscos e guarda-corpos
Os direitos de imagem e o consentimento podem tornar-se riscos legais se a proveniência não for clara.
O desempenho do modelo pode variar dependendo da iluminação, dados demográficos e ambientes.
Os falsos positivos podem passar despercebidos, a menos que os limites de confiança sejam monitorados.
Roteiro de implementação
Defina critérios de aceitação para precisão, recall e custos de erro.
Teste com dados que correspondam às condições reais de produção.
Adicione revisão humana para previsões de baixa confiança ou de alto impacto.
Rastreie o desvio do modelo e revalide após alterações na câmera ou no conjunto de dados.
Continue explorando
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Score-Based Generative Models quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Próximo guia
Modelos baseados em energia
Perguntas frequentes
What is Score-Based Generative Models?
Modelos generativos baseados em pontuação criam dados aprendendo o gradiente da distribuição de dados – a direção que faz com que qualquer amostra ruidosa pareça mais com dados reais. Esta visão da função de pontuação unifica modelos de difusão com equações diferenciais estocásticas e sustenta muitos geradores de imagens modernos.
Qual é exatamente a 'pontuação' que esses modelos aprendem?
A pontuação é o gradiente da densidade dos dados de log em relação à entrada — ela aponta na direção que aumenta a probabilidade de uma amostra.
Por que os modelos baseados em pontuação são treinados em dados corrompidos com ruído em múltiplas escalas?
Nas regiões de baixa densidade a verdadeira pontuação é mal definida; dados perturbadores com vários níveis de ruído tornam a correspondência de pontuação tratável em qualquer lugar.
Qual procedimento de amostragem os primeiros modelos baseados em pontuação usaram para gerar dados?
A dinâmica de Langevin move repetidamente uma amostra na direção da partitura e injeta um pequeno ruído, transformando gradualmente o ruído aleatório em dados realistas.
Que conexão principal o documento score-SDE de 2021 estabeleceu?
Canção et al. difusão unificada e modelos baseados em pontuação sob uma estrutura de equação diferencial estocástica, com uma EDO de fluxo de probabilidade determinística correspondente.
Como a previsão do ruído se relaciona com a previsão da pontuação na correspondência de pontuação de remoção de ruído?
A correspondência de pontuação de remoção de ruído mostra que a pontuação é igual ao ruído negativo dividido pela variação do ruído, tornando a previsão de ruído e a previsão de pontuação efetivamente o mesmo objetivo.