LegközelebbKövetkező útmutató
Byte-Pair kódolás
Nyelvi AI
Vizuális MI ÚTMUTATÓ
Az Instant-NGP az NVIDIA technikája, amely órák helyett másodpercek alatt betanítja a neurális sugárzási mezőket és más neurális grafikai primitíveket, a tanulható szolgáltatásokat egy többfelbontású hash-táblázatban tárolva.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Ez azért számít, mert a kiváló minőségű 3D-s jelenetek rögzítése elég gyors lett ahhoz, hogy szinte interaktívnak érezze magát.
Az Instant Neural Graphics Primitives (NVIDIA, 2022) a NeRF-ek fő szűk keresztmetszetét támadja: a nagy MLP-t, amelyet milliószor kell lekérdezni. Ahelyett, hogy 3D-s pozíciót kódolna rögzített szinuszos jellemzőkkel és nagy hálózatra hagyatkozna, az Instant-NGP többfelbontású hash kódolást használ. A teret több, különböző felbontású rács fedi le; minden rácscella egy térbeli hash függvényen keresztül egy tanulható jellemzővektorok kompakt táblázatává képezi le. Egy pont kódolásához a rendszer megkeresi és trilineárisan interpolálja az egyes felbontási szintek jellemzőit, összefűzi őket, és egy apró MLP-be táplálja be. Mivel a tanult reprezentáció nagy része a keresőtáblákban él, és csak egy kis hálózat maradt meg, a betanítás és a renderelés nagyságrendekkel gyorsabbá válik, gyakran órákat másodpercekké változtatva.
Valódi tárgy vagy szoba rögzítése NeRF-re másodpercek alatt telefonos fotókészletből
Neurális előjelű távolságfüggvény illesztése a gyors 3D alakzatábrázoláshoz
Gigapixeles kép tömörítése és ábrázolása folytonos neurális mezőként
Gyors jelenet-rekonstrukció a kutatási eszközkészletekben és a VFX előzetes megjelenítésében
A hash-grid kódolás az eredeti NeRF demón túlmutató alapértelmezett építőelem lett, valós idejű nézetszintézisben, SDF- és gigapixel-képillesztésben, szimulációban, valamint az olyan eszközkészletek gerinceként, mint a Nerfstudio. Míg a Gaussian Splatting immár a nyers renderelési sebességen versenyez, a hash kódolások továbbra is központi szerepet töltenek be, ahol kompakt, sima, lekérdezhető neurális mezőkre van szükség, és a folyamatos munka egyesíti a kettőt, és a nagyobb, dinamikus és streamelhető jelenetek felé tolja el magát.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
Az Instant-NGP az NVIDIA technikája, amely órák helyett másodpercek alatt betanítja a neurális sugárzási mezőket és más neurális grafikai primitíveket, a tanulható szolgáltatásokat egy többfelbontású hash-táblázatban tárolva. Ez azért számít, mert a kiváló minőségű 3D-s jelenetek rögzítése elég gyors lett ahhoz, hogy szinte interaktívnak érezze magát.
A klasszikus NeRF-ek egy nagy MLP-re támaszkodnak, amelyet rendkívül gyakran lekérdeznek; Azonnali NGP zsugorítások, amelyek felgyorsítják a képzést és a renderelést.
A tanulható funkciók többfelbontású hash-táblázatokban élnek, így csak egy apró MLP marad a megkeresett funkciók kombinálásához.
Az egyes szintek jellemzőit trilineárisan interpolálják és összefűzik, mielőtt átadnák a kis MLP-nek.
Ütközés megengedett; a nagy sűrűségű régiók erősebb színátmeneteket produkálnak, így a kis MLP és az optimalizálás megtanulja feloldani a megosztott helyeket.
Az ábrázolás hash táblákba való áthelyezésével és az MLP szűkítésével az órákig tartó képzés másodpercek alatt befejeződik.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Byte-Pair kódolás
Nyelvi AI