Il prossimoProssima guida
Sintesi della vista del romanzo
IA visiva
GUIDA AI visiva
Zero-1-to-3 trasforma una singola foto di un oggetto in immagini dello stesso oggetto visto da qualsiasi nuova angolazione, utilizzando un modello di diffusione condizionato dalla rotazione della fotocamera richiesta.
Ascolta questa guidaNarrato dall'IA · ~2 min
It matters because it lets you reconstruct 3D-consistent views without ever scanning the object from multiple sides.
Zero-1-to-3 (dalla Columbia, 2023) ottimizza la diffusione stabile in modo da poter eseguire la sintesi di una nuova vista zero-shot da un'immagine di input. Gli dai una singola immagine più una relativa trasformazione della fotocamera (una rotazione e una piccola traslazione) e il modello genera come apparirebbe l'oggetto da quel nuovo punto di vista. L’idea chiave è che i grandi modelli di diffusione 2D, addestrati su enormi raccolte di immagini sul web, hanno implicitamente assorbito i dati a priori geometrici e fisici su come appaiono gli oggetti in 3D. Mettendo a punto un set di dati sintetico di oggetti renderizzati da molti angoli di ripresa controllati (utilizzando Objaverse), il modello impara a mappare questi elementi a priori sul controllo esplicito della telecamera. Le viste generate possono quindi alimentare la ricostruzione 3D a valle.
Generazione di visualizzazioni giradischi di una singola foto di prodotto in modo che un elenco di e-commerce possa mostrare l'articolo da tutti i lati
Bootstrap di una mesh 3D strutturata di un oggetto da un'istantanea casuale del telefono per le anteprime AR
Creazione di un'arte di riferimento coerente multi-angolo di un personaggio o di un oggetto di scena per artisti di concept di giochi e film
Inserimento di nuove viste sintetizzate in una ricostruzione NeRF o Gaussian Splatting per riempire la geometria invisibile
Zero-1-to-3 ha dato vita a un'ondata di pipeline di immagini in 3D. Successori come Zero123-XL, SyncDreamer e One-2-3-45 spingono verso la coerenza multi-vista e un output mesh 3D più veloce e affidabile, mentre l'integrazione con Gaussian Splatting e modelli di ricostruzione di grandi dimensioni sta riducendo il tempo di generazione da minuti a secondi. Aspettatevi una coerenza di visualizzazione più stretta, una risoluzione più elevata e una generalizzazione del mondo reale (non solo degli oggetti sintetici) man mano che questi modelli di diffusione controllabili dal punto di vista maturano in strumenti standard per la creazione di contenuti.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Zero-1-to-3 trasforma una singola foto di un oggetto in immagini dello stesso oggetto visto da qualsiasi nuova angolazione, utilizzando un modello di diffusione condizionato dalla rotazione della fotocamera richiesta. È importante perché ti consente di ricostruire viste coerenti in 3D senza mai scansionare l'oggetto da più lati.
Zero-1-to-3 è condizionato da una singola immagine più una relativa posa della fotocamera, quindi specifichi la rotazione e la traslazione nel punto di vista desiderato.
Mette a punto un grande modello di diffusione 2D preaddestrato in modo da poter sfruttare i modelli a priori geometrici appresi implicitamente dalle immagini web.
La formazione 2D su larga scala conferisce una conoscenza implicita di come appaiono gli oggetti in 3D, che la messa a punto rende controllabile tramite la posa della fotocamera.
È stato addestrato su triplette immagine-posa-immagine renderizzate da grandi raccolte di oggetti 3D sintetici come Objaverse.
L'immagine grezza è concatenata tramite canali al latente rumoroso (insieme a un incorporamento CLIP per la semantica) in modo che identità e dettagli vengano mantenuti.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Sintesi della vista del romanzo
IA visiva