GUIDA AI visiva

Codifica hash NGP istantanea

Instant-NGP è la tecnica di NVIDIA che addestra Neural Radiance Fields e altre primitive grafiche neurali in pochi secondi anziché in ore, memorizzando funzionalità apprendibili in una tabella hash multirisoluzione.

Ascolta questa guidaNarrato dall'IA · ~2 min

In questa pagina2 minuti di lettura
  1. Panoramica
  2. Immersione profonda
  3. Implementazione nel mondo reale
  4. Il futuro della codifica hash NGP istantanea
  5. Metterlo in pratica
  6. Continua a esplorare
  7. Domande frequenti

Panoramica

It matters because it made high-quality 3D scene capture fast enough to feel almost interactive.

Immersione profonda

Instant Neural Graphics Primitives (NVIDIA, 2022) attacca il principale collo di bottiglia dei NeRF: il grande MLP che deve essere interrogato milioni di volte. Invece di codificare una posizione 3D con caratteristiche sinusoidali fisse e fare affidamento su una grande rete, Instant-NGP utilizza una codifica hash multirisoluzione. Lo spazio è coperto da diverse griglie a diverse risoluzioni; ciascuna cella della griglia viene mappata, tramite una funzione hash spaziale, in una tabella compatta di vettori di caratteristiche apprendibili. Per codificare un punto, il sistema cerca e interpola trilinearmente le caratteristiche di ciascun livello di risoluzione, le concatena e le inserisce in un piccolo MLP. Poiché la maggior parte della rappresentazione appresa risiede nelle tabelle di ricerca e rimane solo una piccola rete, l'addestramento e il rendering diventano ordini di grandezza più rapidi, spesso trasformando le ore in secondi.

Implementazione nel mondo reale

Catturare un oggetto o una stanza reale in un NeRF in pochi secondi da una serie di foto del telefono

Adattamento di una funzione di distanza con segno neurale per una rapida rappresentazione della forma 3D

Comprimere e rappresentare un'immagine gigapixel come un campo neurale continuo

Alimentare la ricostruzione rapida delle scene all'interno di kit di strumenti di ricerca e previsualizzazione VFX

Il futuro della codifica hash NGP istantanea

La codifica hash-grid è diventata un elemento costitutivo predefinito ben oltre la demo NeRF originale, utilizzata nella sintesi della vista in tempo reale, nell'adattamento di immagini SDF e gigapixel, nella simulazione e come spina dorsale di toolkit come Nerfstudio. Mentre lo splatting gaussiano ora compete sulla velocità di rendering grezzo, le codifiche hash rimangono centrali laddove sono necessari campi neurali compatti, uniformi e interrogabili, e il lavoro in corso fonde i due e spinge verso scene più grandi, dinamiche e riproducibili in streaming.

Metterlo in pratica

Perché è importante

  • Velocità e scala. L’intelligenza artificiale visiva può automatizzare le attività di ispezione, rilevamento ed etichettatura su larga scala.
  • Scelte di build. I team creativi possono prototipare i concetti più velocemente con meno revisioni manuali.
  • Team e flusso di lavoro. Le operazioni possono utilizzare segnali immagine e video che in precedenza erano difficili da elaborare.

Attenzione

  • I diritti di immagine e il consenso possono diventare rischi legali se la provenienza non è chiara.
  • Le prestazioni del modello possono variare in base all'illuminazione, ai dati demografici e agli ambienti.
  • I falsi positivi possono passare inosservati a meno che non vengano monitorate le soglie di confidenza.

Prossimi passi

  1. Definire i criteri di accettazione per i costi di precisione, richiamo ed errore.
  2. Testare con dati che corrispondono alle reali condizioni di produzione.
  3. Aggiungi la revisione umana per previsioni poco attendibili o ad alto impatto.
  4. Tieni traccia della deriva del modello e riconvalida dopo le modifiche alla fotocamera o al set di dati.

Continua a esplorare

Newsletter gratuita

Ricevi il briefing quotidiano sull'IA

Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.

Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.

Mettiti alla prova

Take the Instant-NGP Hash Encoding quiz

Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.

Inizia il quiz

Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione

Domande frequenti

What is Instant-NGP Hash Encoding?

Instant-NGP è la tecnica di NVIDIA che addestra Neural Radiance Fields e altre primitive grafiche neurali in pochi secondi anziché in ore, memorizzando funzionalità apprendibili in una tabella hash multirisoluzione. È importante perché ha reso l'acquisizione di scene 3D di alta qualità abbastanza veloce da sembrare quasi interattiva.

Qual è il principale collo di bottiglia nei classici NeRF presi di mira da Instant-NGP?

I NeRF classici si basano su un grande MLP interrogato enormemente spesso; Instant-NGP riduce il lavoro per accelerare l'addestramento e il rendering.

Dove Instant-NGP memorizza la maggior parte dei parametri apprendibili?

Le funzionalità apprendibili risiedono in tabelle hash multirisoluzione, lasciando solo un piccolo MLP per combinare le funzionalità ricercate.

Come vengono combinate le funzionalità tra i diversi livelli di risoluzione?

Le caratteristiche di ciascun livello vengono interpolate e concatenate trilinearmente prima di essere passate al piccolo MLP.

In che modo Instant-NGP gestisce le collisioni di hash nelle sue tabelle a risoluzione fine?

Sono consentite collisioni; le regioni ad alta densità producono gradienti più forti in modo che il piccolo MLP e l'ottimizzazione imparino a risolvere gli slot condivisi.

All'incirca quanto Instant-NGP accelera l'allenamento NeRF?

Spostando la rappresentazione in tabelle hash e riducendo l'MLP, l'addestramento che richiedeva ore può terminare in pochi secondi.