Modelli generativi basati su punteggi
I modelli generativi basati su punteggi creano dati apprendendo il gradiente della distribuzione dei dati, la direzione che rende qualsiasi campione rumoroso più simile ai dati reali.
Panoramica
This score-function view unifies diffusion models with stochastic differential equations and underpins many modern image generators.
Immersione profonda
Invece di modellare direttamente la probabilità, i modelli basati sul punteggio apprendono il punteggio: il gradiente della densità di probabilità logaritmica rispetto all’input. Sapere in che modo spingere un campione per aumentarne la probabilità è sufficiente per generare nuovi dati. Il lavoro del 2019 di Yang Song e Stefano Ermon ha addestrato una rete a stimare questo punteggio su molti livelli di rumore utilizzando la corrispondenza del punteggio di denoising, quindi ha generato campioni con la dinamica di Langevin, avanzando ripetutamente lungo la partitura e aggiungendo un po' di rumore. Il loro documento SDE del 2021 ha mostrato che i modelli di diffusione e basati sui punteggi sono due facce dello stesso processo continuo descritto da un’equazione differenziale stocastica. Fondamentalmente, ogni SDE ha una corrispondente ODE deterministica di "flusso di probabilità" che condivide gli stessi margini, consentendo probabilità esatte e campionamento rapido.
Approfondimento tecnico
Stimare direttamente il punteggio dei dati puliti è difficile dove i dati sono scarsi, quindi il modello viene addestrato su dati perturbati dal rumore gaussiano su più scale. La corrispondenza del punteggio di denoising fornisce un obiettivo trattabile: il punteggio della distribuzione disturbata è uguale alla direzione del rumore divisa per la varianza del rumore, quindi prevedere il rumore e prevedere il punteggio sono essenzialmente la stessa cosa. Il campionamento risolve l'SDE in tempo inverso (o l'equivalente ODE a flusso di probabilità) a partire dal rumore gaussiano puro.
Impatto strategico
Velocità e scala
L’intelligenza artificiale visiva può automatizzare le attività di ispezione, rilevamento ed etichettatura su larga scala.
Scelte di build
I team creativi possono prototipare i concetti più velocemente con meno revisioni manuali.
Team e flusso di lavoro
Le operazioni possono utilizzare segnali immagine e video che in precedenza erano difficili da elaborare.
Il futuro dei modelli generativi basati su punteggi
Il framework score-SDE è il motore teorico alla base di gran parte dei progressi dell’intelligenza artificiale generativa. Risolutori numerici più veloci, migliori pianificazioni del rumore e l'ODE del flusso di probabilità consentono la generazione quasi in tempo reale e la valutazione esatta della verosimiglianza. La stessa idea di corrispondenza dei punteggi si sta diffondendo oltre le immagini nell'audio, nella progettazione di strutture molecolari e proteiche, nelle nuvole di punti e nella simulazione scientifica, mentre i modelli di coerenza e corrispondenza del flusso si basano direttamente su queste basi di tempo continuo per ridurre la generazione a una manciata di passaggi.
Implementazione nel mondo reale
Noise-Conditional Score Networks (NCSN) che generano volti fotorealistici seguendo i gradienti di punteggio appresi tramite la dinamica di Langevin.
Ricostruzione di immagini mediche, come la risonanza magnetica accelerata, in cui il punteggio appreso funge da pre-inserimento dei dati di scansione sottocampionati.
Generazione di strutture molecolari e proteiche nella scoperta di farmaci, modellazione di configurazioni atomiche 3D con diffusione basata su punteggi.
Sintesi della forma d'onda audio in cui i modelli di partitura eliminano il rumore verso il parlato pulito o la musica, come nei vocoder basati sulla diffusione.
Rischi e guardrail
I diritti di immagine e il consenso possono diventare rischi legali se la provenienza non è chiara.
Le prestazioni del modello possono variare in base all'illuminazione, ai dati demografici e agli ambienti.
I falsi positivi possono passare inosservati a meno che non vengano monitorate le soglie di confidenza.
Tabella di marcia per l'implementazione
Definire i criteri di accettazione per i costi di precisione, richiamo ed errore.
Testare con dati che corrispondono alle reali condizioni di produzione.
Aggiungi la revisione umana per previsioni poco attendibili o ad alto impatto.
Tieni traccia della deriva del modello e riconvalida dopo le modifiche alla fotocamera o al set di dati.
Continua a esplorare
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Score-Based Generative Models quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Prossima guida
Modelli basati sull'energia
Domande frequenti
What is Score-Based Generative Models?
I modelli generativi basati su punteggi creano dati apprendendo il gradiente della distribuzione dei dati, la direzione che rende qualsiasi campione rumoroso più simile ai dati reali. Questa visione della funzione di punteggio unifica i modelli di diffusione con equazioni differenziali stocastiche e è alla base di molti generatori di immagini moderni.
Qual è esattamente il "punteggio" che apprendono questi modelli?
Il punteggio è il gradiente della densità dei dati di registro rispetto all'input: punta nella direzione che aumenta la probabilità di un campione.
Perché i modelli basati sui punteggi vengono addestrati su dati corrotti dal rumore su più scale?
Nelle regioni a bassa densità il punteggio reale è scarsamente definito; dati perturbanti con diversi livelli di rumore rendono trattabile la corrispondenza dei punteggi ovunque.
Quale procedura di campionamento utilizzavano i primi modelli basati sui punteggi per generare i dati?
La dinamica Langevin sposta ripetutamente un campione nella direzione della partitura e inietta un piccolo rumore, trasformando gradualmente il rumore casuale in dati realistici.
Quale collegamento principale ha stabilito il documento sullo score-SDE del 2021?
Canzone et al. modelli di diffusione unificata e basati su punteggi in un quadro di equazioni differenziali stocastiche, con un'ODE di flusso di probabilità deterministica corrispondente.
In che modo la previsione del rumore è correlata alla previsione del punteggio nel denoising della corrispondenza del punteggio?
La corrispondenza del punteggio di denoising mostra che il punteggio è uguale al rumore negativo diviso per la varianza del rumore, rendendo la previsione del rumore e la previsione del punteggio effettivamente lo stesso obiettivo.