Vizuální průvodce AI

Okamžité kódování hash NGP

Instant-NGP je technika NVIDIA, která trénuje neurální radiační pole a další neurální grafická primitiva během několika sekund namísto hodin ukládáním naučitelných funkcí do hashovací tabulky s více rozlišeními.

Poslechněte si tento návodAI-vyprávěný · ~2 min

Na této stránce2 minuty čtení
  1. Přehled
  2. Hluboký ponor
  3. Real-World Implementace
  4. Budoucnost Instant-NGP Hash Encoding
  5. Uvedení do praxe
  6. Pokračujte v objevování
  7. Často kladené otázky

Přehled

Záleží na tom, protože to umožnilo zachytit vysoce kvalitní 3D scénu dostatečně rychle, aby bylo téměř interaktivní.

Hluboký ponor

Instant Neural Graphics Primitives (NVIDIA, 2022) útočí na hlavní překážku NeRF: velké MLP, které musí být dotazovány milionkrát. Namísto kódování 3D pozice s pevnými sinusovými prvky a spoléhání se na velkou síť používá Instant-NGP kódování hash ve více rozlišeních. Prostor je pokryt několika mřížkami v různých rozlišeních; každá buňka mřížky mapuje pomocí prostorové hašovací funkce do kompaktní tabulky vektorů vlastností, které lze naučit. Pro zakódování bodu systém vyhledá a trilineárně interpoluje prvky z každé úrovně rozlišení, zřetězí je a vloží je do malého MLP. Protože většina naučených reprezentací žije ve vyhledávacích tabulkách a zbývá jen malá síť, trénování a vykreslování se stávají řádově rychlejšími a často mění hodiny v sekundy.

Real-World Implementace

Zachycení skutečného objektu nebo místnosti do NeRF během několika sekund ze sady fotografií telefonu

Přizpůsobení funkce vzdálenosti neurálního znaménka pro rychlou 3D reprezentaci tvaru

Komprese a reprezentace gigapixelového obrazu jako spojitého neurálního pole

Pohání rychlou rekonstrukci scény uvnitř sad nástrojů pro výzkum a předvizualizaci VFX

Budoucnost Instant-NGP Hash Encoding

Kódování hash-grid se stalo výchozím stavebním kamenem daleko nad rámec původního dema NeRF, který se používá při syntéze zobrazení v reálném čase, přizpůsobení SDF a gigapixelových obrázků, simulaci a jako páteř sad nástrojů, jako je Nerfstudio. Zatímco Gaussian Splatting nyní soutěží v rychlosti surového vykreslování, kódování hash zůstává centrální tam, kde jsou zapotřebí kompaktní, hladká, dotazovatelná neuronová pole, a pokračující práce tyto dva spojuje a směřuje k větším, dynamickým a streamovatelným scénám.

Uvedení do praxe

Proč na tom záleží

  • Rychlost a měřítko. Vizuální AI může automatizovat úkoly inspekce, detekce a označování ve velkém měřítku.
  • Volby sestavy. Kreativní týmy mohou prototypovat koncepty rychleji s menším počtem ručních revizí.
  • Tým a pracovní postup. Operace mohou využívat obrazové a video signály, které bylo dříve obtížné zpracovat.

Pozor na

  • Obrazová práva a souhlas se mohou stát právním rizikem, pokud je původ nejasný.
  • Výkon modelu se může lišit podle osvětlení, demografických údajů a prostředí.
  • Falešně pozitivní mohou zůstat bez povšimnutí, pokud nejsou monitorovány prahové hodnoty spolehlivosti.

Další kroky

  1. Definujte kritéria přijatelnosti pro přesnost, stažení a náklady na chyby.
  2. Testujte s daty, která odpovídají reálným výrobním podmínkám.
  3. Přidejte lidskou kontrolu pro předpovědi s nízkou spolehlivostí nebo velkým dopadem.
  4. Sledujte posun modelu a znovu ověřte po změnách kamery nebo datové sady.

Pokračujte v objevování

Newsletter zdarma

Získejte denní přehled o AI

Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.

Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.

Otestujte se

Take the Instant-NGP Hash Encoding quiz

Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.

Spustit kvíz

Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte

Často kladené otázky

Co je Instant-NGP Hash Encoding?

Instant-NGP je technika NVIDIA, která trénuje neurální radiační pole a další neurální grafická primitiva během několika sekund namísto hodin ukládáním naučitelných funkcí do hashovací tabulky s více rozlišeními. Záleží na tom, protože to umožnilo zachytit vysoce kvalitní 3D scénu dostatečně rychle, aby bylo téměř interaktivní.

Co je hlavním úzkým hrdlem klasických NeRF, na které se Instant-NGP zaměřuje?

Klasické NeRF se spoléhají na velké MLP, které se enormně často dotazují; Instant-NGP zmenšuje, které pracují na urychlení školení a vykreslování.

Kde Instant-NGP ukládá většinu svých naučitelných parametrů?

Naučitelné funkce žijí ve vícerozlišovacích hashovacích tabulkách, takže zbývá pouze malý MLP pro kombinování vyhledávaných funkcí.

Jak se kombinují funkce napříč různými úrovněmi rozlišení?

Vlastnosti každé úrovně jsou trilineárně interpolovány a zřetězeny, než jsou předány malému MLP.

Jak Instant-NGP zpracovává hašovací kolize ve svých tabulkách s jemným rozlišením?

Srážky jsou povoleny; oblasti s vysokou hustotou produkují silnější gradienty, takže malé MLP a optimalizace se naučí řešit sdílené sloty.

Jak zhruba Instant-NGP urychlí trénink NeRF?

Přesunutím reprezentace do hašovacích tabulek a zmenšením MLP může trénink, který trval hodiny, skončit během několika sekund.