Il prossimoProssima guida
Reti di trasformatori spaziali
IA visiva
GUIDA AI visiva
I Diffusion Transformers (DiT) sostituiscono la U-Net convoluzionale nel cuore dei generatori di immagini e video con un backbone Transformer.
Ascolta questa guidaNarrato dall'IA · ~2 min
This architecture powers leading systems like Stable Diffusion 3 and OpenAI's Sora, and it scales remarkably well as you add compute.
I modelli di diffusione generano immagini partendo dal rumore puro e riducendolo iterativamente in un'immagine coerente. Per anni la rete che effettuava tale denoising era una U-Net, un'architettura convoluzionale. Il Diffusion Transformer, introdotto da Peebles e Xie nel 2022, sostituisce U-Net con un trasformatore. L'immagine viene prima compressa in uno spazio latente, divisa in piccole porzioni e ciascuna porzione diventa un token, proprio come le parole in un modello linguistico. Il Trasformatore elabora quindi questi token con auto-attenzione ad ogni fase di denoising. Una scoperta fondamentale è stata che le prestazioni DiT migliorano in modo prevedibile man mano che si aumentano le dimensioni del modello e si riducono le dimensioni delle patch, seguendo le leggi di scalabilità pulita. Questa scalabilità è il motivo per cui i sistemi text-to-video e text-to-image di fascia alta sono in gran parte migrati verso i backbone Transformer.
Sora di OpenAI utilizza un backbone Transformer su patch spaziotemporali per generare video ad alta fedeltà della durata di un minuto da istruzioni di testo.
Stable Diffusion 3 adotta un trasformatore di diffusione multimodale (MMDiT) per allineare meglio le immagini generate con descrizioni di testo dettagliate.
I ricercatori adattano un DiT a miliardi di parametri e osservano il miglioramento prevedibile della qualità dell'immagine, guidando le decisioni sul budget di calcolo.
Uno studio utilizza un modello basato su DiT per estendere brevi clip, trattando i fotogrammi video aggiuntivi come token di patch aggiuntivi da eliminare.
I trasformatori di diffusione stanno diventando la spina dorsale predefinita per i media generativi. Il loro design basato su token li rende naturali per unificare immagini, video e persino la generazione multimodale sotto un'unica architettura scalabile. La ricerca sta spingendo verso video più lunghi, una risoluzione più elevata e un’attenzione più efficiente per domare il costo quadratico di molti token. Aspettatevi una convergenza tra modelli linguistici e di visione, in cui ricette e infrastrutture simili di scalabilità di Transformer servono entrambi, accelerando il progresso nei modelli mondiali e nei video interattivi.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
I Diffusion Transformers (DiT) sostituiscono la U-Net convoluzionale nel cuore dei generatori di immagini e video con un backbone Transformer. Questa architettura è alla base di sistemi leader come Stable Diffusion 3 e Sora di Sora e si adatta notevolmente bene man mano che si aggiunge l'elaborazione.
I DiT sostituiscono U-Net, la rete convoluzionale che esegue il denoising, con un backbone Transformer.
L'immagine latente è divisa in piccole macchie, e ciascuna macchia diventa un token, analogo alle parole in un modello linguistico.
La qualità DiT migliora in modo chiaro e prevedibile man mano che si aumenta il calcolo del modello e si utilizzano patch più piccole, seguendo le leggi di dimensionamento.
I DiT utilizzano la normalizzazione dello strato adattivo per prevedere la scala e lo spostamento dei parametri per gli strati di normalizzazione dal segnale di condizionamento.
adaLN-zero inizializza la modulazione in modo che ogni blocco agisca inizialmente come identità, il che stabilizza e migliora la formazione.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Reti di trasformatori spaziali
IA visiva