Il prossimoProssima guida
Codifica coppia di byte
Intelligenza artificiale linguistica
GUIDA AI visiva
Instant-NGP è la tecnica di NVIDIA che addestra Neural Radiance Fields e altre primitive grafiche neurali in pochi secondi anziché in ore, memorizzando funzionalità apprendibili in una tabella hash multirisoluzione.
Ascolta questa guidaNarrato dall'IA · ~2 min
It matters because it made high-quality 3D scene capture fast enough to feel almost interactive.
Instant Neural Graphics Primitives (NVIDIA, 2022) attacca il principale collo di bottiglia dei NeRF: il grande MLP che deve essere interrogato milioni di volte. Invece di codificare una posizione 3D con caratteristiche sinusoidali fisse e fare affidamento su una grande rete, Instant-NGP utilizza una codifica hash multirisoluzione. Lo spazio è coperto da diverse griglie a diverse risoluzioni; ciascuna cella della griglia viene mappata, tramite una funzione hash spaziale, in una tabella compatta di vettori di caratteristiche apprendibili. Per codificare un punto, il sistema cerca e interpola trilinearmente le caratteristiche di ciascun livello di risoluzione, le concatena e le inserisce in un piccolo MLP. Poiché la maggior parte della rappresentazione appresa risiede nelle tabelle di ricerca e rimane solo una piccola rete, l'addestramento e il rendering diventano ordini di grandezza più rapidi, spesso trasformando le ore in secondi.
Catturare un oggetto o una stanza reale in un NeRF in pochi secondi da una serie di foto del telefono
Adattamento di una funzione di distanza con segno neurale per una rapida rappresentazione della forma 3D
Comprimere e rappresentare un'immagine gigapixel come un campo neurale continuo
Alimentare la ricostruzione rapida delle scene all'interno di kit di strumenti di ricerca e previsualizzazione VFX
La codifica hash-grid è diventata un elemento costitutivo predefinito ben oltre la demo NeRF originale, utilizzata nella sintesi della vista in tempo reale, nell'adattamento di immagini SDF e gigapixel, nella simulazione e come spina dorsale di toolkit come Nerfstudio. Mentre lo splatting gaussiano ora compete sulla velocità di rendering grezzo, le codifiche hash rimangono centrali laddove sono necessari campi neurali compatti, uniformi e interrogabili, e il lavoro in corso fonde i due e spinge verso scene più grandi, dinamiche e riproducibili in streaming.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Instant-NGP è la tecnica di NVIDIA che addestra Neural Radiance Fields e altre primitive grafiche neurali in pochi secondi anziché in ore, memorizzando funzionalità apprendibili in una tabella hash multirisoluzione. È importante perché ha reso l'acquisizione di scene 3D di alta qualità abbastanza veloce da sembrare quasi interattiva.
I NeRF classici si basano su un grande MLP interrogato enormemente spesso; Instant-NGP riduce il lavoro per accelerare l'addestramento e il rendering.
Le funzionalità apprendibili risiedono in tabelle hash multirisoluzione, lasciando solo un piccolo MLP per combinare le funzionalità ricercate.
Le caratteristiche di ciascun livello vengono interpolate e concatenate trilinearmente prima di essere passate al piccolo MLP.
Sono consentite collisioni; le regioni ad alta densità producono gradienti più forti in modo che il piccolo MLP e l'ottimizzazione imparino a risolvere gli slot condivisi.
Spostando la rappresentazione in tabelle hash e riducendo l'MLP, l'addestramento che richiedeva ore può terminare in pochi secondi.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Codifica coppia di byte
Intelligenza artificiale linguistica