Il prossimoProssima guida
Scrivere suggerimenti efficaci per la generazione di immagini
IA visiva
GUIDA AI visiva
La generazione da immagine a 3D trasforma una singola foto o immagine di un oggetto in un modello 3D texturizzato, solitamente una mesh, spesso in pochi secondi utilizzando una rete feed-forward come TripoSR.
Ascolta questa guidaNarrato dall'IA · ~3 min
Il modello ricostruisce ciò che può vedere e ipotizza i lati nascosti basandosi sui pattern appresi durante l'addestramento. È importante perché rende le risorse 3D rapide accessibili ai non specialisti, ma il risultato è una stima plausibile, non una misurazione dell'oggetto reale.
La generazione da immagine a 3D trasforma una singola immagine di un oggetto in un modello 3D con texture che puoi utilizzare in un motore di gioco, visualizzatore AR o strumento di modellazione. L'approccio moderno e veloce è la ricostruzione feed-forward: un passaggio attraverso una rete addestrata, impiegando pochi secondi invece dei minuti o delle ore richiesti dai vecchi metodi di ottimizzazione per oggetto. Il progetto chiave deriva dal Large Reconstruction Model (LRM), un articolo del 2023 dei ricercatori dello Adobe e dell’Australian National University. LRM utilizza un codificatore di immagini pre-addestrato (DINO) e un grande trasformatore che mappa le caratteristiche dell'immagine in un triplano: tre piani di caratteristiche allineati agli assi che insieme descrivono un campo 3D. Una piccola rete decodifica densità e colore in qualsiasi punto, che può essere renderizzato come un NeRF durante l'allenamento e successivamente convertito in una mesh con cubi in marcia. TripoSR, rilasciato nel marzo 2024 da Stability AI e Tripo AI su licenza MIT, si basava sul design LRM e riportava ricostruzioni in meno di un secondo su una GPU capace. Il successivo Stable Fast 3D di Stability ha aggiunto texture non imballate con UV e stime dei materiali. Un'altra famiglia utilizza prima un modello di diffusione per immaginare nuove viste dell'oggetto, un'idea introdotta da Zero-1-to-3, e poi ricostruisce da quelle viste, come fa InstantMesh. La limitazione principale è che una foto non contiene il retro dell'oggetto. Tutto ciò che è nascosto è un'ipotesi appresa, modellata da dati di addestramento come la vasta raccolta di risorse 3D di Objaverse. Gli oggetti comuni e simmetrici risultano plausibili; disegni insoliti, parti sottili, materiali trasparenti o lucidi e testi sottili spesso falliscono. La scala di una singola immagine è sconosciuta, quindi le dimensioni non sono affidabili. Un malinteso frequente è che ciò equivalga alla scansione 3D o alla fotogrammetria, che misurano la geometria reale di molte foto. I modelli a immagine singola si adattano a concetti, segnaposto e prototipi, non a parti che devono adattarsi.
Uno sviluppatore di giochi indipendente fotografa una tazza di ceramica, rimuove lo sfondo e utilizza TripoSR per ottenere una mesh in pochi secondi come oggetto di scena provvisorio per una cucina.
Un product designer trasforma lo schizzo concettuale di una lampada in un modello 3D approssimativo per visualizzarlo da diverse angolazioni prima che un modellatore professionista realizzi la versione finale.
Un hobbista prova a stampare in 3D una manopola sostitutiva partendo da una foto, ma scopre che le dimensioni sono errate e che il lato nascosto è inventato, quindi passa alla misurazione con un calibro.
Un venditore online genera un'anteprima 3D di un peluche per un visualizzatore AR, poi nota che il retro non visibile presenta un motivo di cucitura ipotizzato che non corrisponde al giocattolo reale.
La ricerca si sta muovendo verso una geometria a risoluzione più elevata, una topologia della mesh più pulita, materiali PBR adeguati anziché colori integrati e un migliore utilizzo di più foto di input quando disponibili. Combinare la diffusione multi-vista con la ricostruzione feed-forward ha migliorato la plausibilità del lato nascosto, ma una singola immagine lascerà sempre il retro sottodeterminato, quindi le ipotesi non possono essere eliminate. Aspettati una maggiore integrazione nei motori di gioco e negli strumenti di progettazione, e un maggiore utilizzo per la prototipazione rapida. Per attività in cui la precisione è fondamentale, metodi misurati come fotogrammetria, sensori di profondità e CAD rimarranno probabilmente necessari.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
La generazione da immagine a 3D trasforma una singola foto o immagine di un oggetto in un modello 3D texturizzato, solitamente una mesh, spesso in pochi secondi utilizzando una rete feed-forward come TripoSR. Il modello ricostruisce ciò che può vedere e ipotizza i lati nascosti basandosi sui pattern appresi durante l'addestramento. È importante perché rende le risorse 3D rapide accessibili ai non specialisti, ma il risultato è una stima plausibile, non una misurazione dell'oggetto reale.
I modelli feed-forward prevedono il 3D direttamente in un unico passaggio, a differenza dei metodi più vecchi che ottimizzano per oggetto in minuti o ore.
LRM prevede un triplane, che una piccola rete decodifica in densità e colore in qualsiasi punto 3D.
TripoSR è stato rilasciato da Stability AI e Tripo AI con licenza MIT e basato sul design LRM.
Il marching cubes converte un campo di densità in una superficie mesh triangolare.
Zero-1-to-3 ha aperto la strada alla generazione di nuove viste con la diffusione, che metodi come InstantMesh poi ricostruiscono.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Scrivere suggerimenti efficaci per la generazione di immagini
IA visiva