GUIDA AI visiva

Trasformatori di diffusione

I Diffusion Transformers (DiT) sostituiscono la U-Net convoluzionale nel cuore dei generatori di immagini e video con un backbone Transformer.

Ascolta questa guidaNarrato dall'IA · ~2 min

In questa pagina2 minuti di lettura
  1. Panoramica
  2. Immersione profonda
  3. Implementazione nel mondo reale
  4. Il futuro dei trasformatori a diffusione
  5. Metterlo in pratica
  6. Continua a esplorare
  7. Domande frequenti

Panoramica

This architecture powers leading systems like Stable Diffusion 3 and OpenAI's Sora, and it scales remarkably well as you add compute.

Immersione profonda

I modelli di diffusione generano immagini partendo dal rumore puro e riducendolo iterativamente in un'immagine coerente. Per anni la rete che effettuava tale denoising era una U-Net, un'architettura convoluzionale. Il Diffusion Transformer, introdotto da Peebles e Xie nel 2022, sostituisce U-Net con un trasformatore. L'immagine viene prima compressa in uno spazio latente, divisa in piccole porzioni e ciascuna porzione diventa un token, proprio come le parole in un modello linguistico. Il Trasformatore elabora quindi questi token con auto-attenzione ad ogni fase di denoising. Una scoperta fondamentale è stata che le prestazioni DiT migliorano in modo prevedibile man mano che si aumentano le dimensioni del modello e si riducono le dimensioni delle patch, seguendo le leggi di scalabilità pulita. Questa scalabilità è il motivo per cui i sistemi text-to-video e text-to-image di fascia alta sono in gran parte migrati verso i backbone Transformer.

Implementazione nel mondo reale

Sora di OpenAI utilizza un backbone Transformer su patch spaziotemporali per generare video ad alta fedeltà della durata di un minuto da istruzioni di testo.

Stable Diffusion 3 adotta un trasformatore di diffusione multimodale (MMDiT) per allineare meglio le immagini generate con descrizioni di testo dettagliate.

I ricercatori adattano un DiT a miliardi di parametri e osservano il miglioramento prevedibile della qualità dell'immagine, guidando le decisioni sul budget di calcolo.

Uno studio utilizza un modello basato su DiT per estendere brevi clip, trattando i fotogrammi video aggiuntivi come token di patch aggiuntivi da eliminare.

Il futuro dei trasformatori a diffusione

I trasformatori di diffusione stanno diventando la spina dorsale predefinita per i media generativi. Il loro design basato su token li rende naturali per unificare immagini, video e persino la generazione multimodale sotto un'unica architettura scalabile. La ricerca sta spingendo verso video più lunghi, una risoluzione più elevata e un’attenzione più efficiente per domare il costo quadratico di molti token. Aspettatevi una convergenza tra modelli linguistici e di visione, in cui ricette e infrastrutture simili di scalabilità di Transformer servono entrambi, accelerando il progresso nei modelli mondiali e nei video interattivi.

Metterlo in pratica

Perché è importante

  • Velocità e scala. L’intelligenza artificiale visiva può automatizzare le attività di ispezione, rilevamento ed etichettatura su larga scala.
  • Scelte di build. I team creativi possono prototipare i concetti più velocemente con meno revisioni manuali.
  • Team e flusso di lavoro. Le operazioni possono utilizzare segnali immagine e video che in precedenza erano difficili da elaborare.

Attenzione

  • I diritti di immagine e il consenso possono diventare rischi legali se la provenienza non è chiara.
  • Le prestazioni del modello possono variare in base all'illuminazione, ai dati demografici e agli ambienti.
  • I falsi positivi possono passare inosservati a meno che non vengano monitorate le soglie di confidenza.

Prossimi passi

  1. Definire i criteri di accettazione per i costi di precisione, richiamo ed errore.
  2. Testare con dati che corrispondono alle reali condizioni di produzione.
  3. Aggiungi la revisione umana per previsioni poco attendibili o ad alto impatto.
  4. Tieni traccia della deriva del modello e riconvalida dopo le modifiche alla fotocamera o al set di dati.

Continua a esplorare

Newsletter gratuita

Ricevi il briefing quotidiano sull'IA

Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.

Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.

Mettiti alla prova

Take the Diffusion Transformers quiz

Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.

Inizia il quiz

Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione

Domande frequenti

What is Diffusion Transformers?

I Diffusion Transformers (DiT) sostituiscono la U-Net convoluzionale nel cuore dei generatori di immagini e video con un backbone Transformer. Questa architettura è alla base di sistemi leader come Stable Diffusion 3 e Sora di Sora e si adatta notevolmente bene man mano che si aggiunge l'elaborazione.

Quale componente sostituisce un Trasformatore di Diffusione rispetto ai tradizionali modelli di diffusione?

I DiT sostituiscono U-Net, la rete convoluzionale che esegue il denoising, con un backbone Transformer.

In che modo un DiT trasforma un'immagine in qualcosa che un Transformer può elaborare?

L'immagine latente è divisa in piccole macchie, e ciascuna macchia diventa un token, analogo alle parole in un modello linguistico.

Cosa ha scoperto il documento DiT originale riguardo al ridimensionamento?

La qualità DiT migliora in modo chiaro e prevedibile man mano che si aumenta il calcolo del modello e si utilizzano patch più piccole, seguendo le leggi di dimensionamento.

In che modo i DiT in genere inseriscono condizionamenti come il timestep e il messaggio di testo?

I DiT utilizzano la normalizzazione dello strato adattivo per prevedere la scala e lo spostamento dei parametri per gli strati di normalizzazione dal segnale di condizionamento.

Cosa comporta l'inizializzazione "adaLN-zero"?

adaLN-zero inizializza la modulazione in modo che ogni blocco agisca inizialmente come identità, il che stabilizza e migliora la formazione.