Gauss Splatting
A Gauss-splatting egy 3D-s jelenetet reprezentál milliónyi apró, színes, félig átlátszó foltként, amelyek valós időben renderelhetők.
Áttekintés
It delivers NeRF-like photorealism while running fast enough for interactive viewing.
Mély merülés
A SIGGRAPH 2023-on bemutatott 3D Gaussian Splatting olyan fényképekből rekonstruálja a jeleneteket, mint a NeRF, de explicit ábrázolást használ rejtett neurális hálózat helyett. Minden jelenet 3D Gauss-féle felhők, homályos ellipszoid foltok, és minden egyes folt egy pozíciót, egy méretet és tájolást (kovarianciáját), egy átlátszatlanságot és színt tárol. Ahelyett, hogy lassan sugározná a sugarakat a hálózaton, a módszer közvetlenül a képernyőre "kiírja" ezeket a foltokat, és összekeveri őket, ami közelebb áll a hagyományos raszterezéshez, és ezért nagyon gyors. A képzés a kamerakalibrációval előállított ritka pontfelhőből indul ki, majd optimalizálja a foltokat, miközben adaptívan ad hozzá részleteket ott, ahol a jelenet alulrekonstrukciós, a túlnépesedett jeleneteket pedig levágja. Az eredmény a valós idejű renderelés 1080p felbontásban, a minőség a legjobb NeRF-ekkel vetekszik, ezért terjedt el gyorsan a grafikus és rögzítőeszközökön keresztül.
Technikai betekintés
A kulcs egy megkülönböztethető csempe alapú raszterező. A 3D Gauss-képek 2D-re vannak vetítve, mélység szerint rendezve, és képernyőcsempénként alfa-keverék, így a renderelés elkerüli a pixelenkénti sugármenetet, amely lelassítja a NeRF-t. A színeket gömbölyű harmonikusok tárolják, így minden egyes folt megváltoztathatja a megjelenését a látószöggel a tükröződések rögzítése érdekében. Mivel az egész folyamat differenciálható, a NeRF által használt fotó-illesztő gradiens süllyedés optimalizálja a foltok helyzetét, formáját, átlátszatlanságát és színeit, míg a sűrűsítési lépés növeli vagy felosztja a Gauss-féle képleteket a hiányzó részletek hozzáadásához.
Stratégiai hatás
Sebesség és méretarány
A vizuális AI képes automatizálni az ellenőrzési, észlelési és címkézési feladatokat nagy léptékben.
Építési lehetőségek
A kreatív csapatok gyorsabban prototípusokat készíthetnek a koncepciókból, kevesebb kézi átdolgozással.
Csapat és munkafolyamat
A műveletek olyan kép- és videojeleket használhatnak, amelyeket korábban nehéz volt feldolgozni.
A Gauss-splatting jövője
A Gaussian Splatting gyorsan fejlődik a 3D-rögzítésre, leképezésre és virtuális gyártásra szolgáló termékek kutatásától, részben azért, mert valós időben jelenik meg fogyasztói GPU-kon, sőt böngészőkön is. Az aktív munka célja a fájlméretek csökkentése (a jelenetek lehetnek nagyok), a dinamikus és animált jelenetek kezelése, az egyes objektumok újravilágítása és szerkesztése. Szorosabb integrációra számíthat a játékmotorokkal és az AR/VR-el, a hibrid módszerekkel, amelyek a jeleket hálókkal kombinálják, és a telefonról készített videót rögzítik. Egyre inkább a NeRF gyakorlati kiegészítésének vagy helyettesítésének tekintik, ahol az interaktív sebesség számít.
Valós megvalósítás
Valós idejű, felfedezhető 3D-s felvételek készítése szobákról vagy termékekről az interneten
Virtuális gyártás és film-előzetes megjelenítés fotorealisztikus, navigálható díszletekkel
Objektumok és környezetek gyors 3D szkennelése telefonról vagy drónról
Interaktív AR/VR jelenetek készítése, amelyek zökkenőmentesen futnak fogyasztói hardveren
Kockázatok és védőkorlátok
A képhez fűződő jogok és a beleegyezés jogi kockázatot jelenthet, ha a származás nem egyértelmű.
A modell teljesítménye a világítástól, a demográfiai adatoktól és a környezettől függően változhat.
A hamis pozitívumok észrevétlenek maradhatnak, hacsak nem figyelik a megbízhatósági küszöböket.
Végrehajtási ütemterv
Határozza meg a pontosság, a visszahívás és a hibaköltségek elfogadási kritériumait.
Tesztelje a valós gyártási feltételeknek megfelelő adatokkal.
Adjon hozzá emberi felülvizsgálatot az alacsony megbízhatóságú vagy nagy hatású előrejelzésekhez.
A modell elsodródásának nyomon követése és újbóli érvényesítése a kamera vagy az adatkészlet módosítása után.
Folytassa a felfedezést
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Gaussian Splatting quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Következő útmutató
Gauss-folyamatok
Gyakran ismételt kérdések
What is Gaussian Splatting?
A Gauss-splatting egy 3D-s jelenetet reprezentál milliónyi apró, színes, félig átlátszó foltként, amelyek valós időben renderelhetők. NeRF-szerű fotorealizmust biztosít, miközben elég gyorsan fut az interaktív megtekintéshez.
Hogyan reprezentál a Gauss-splatting egy 3D-s jelenetet?
A jelenet egy explicit 3D Gauss-felhő, mindegyik egy fuzzy ellipszoid pozícióval, alakkal, átlátszatlansággal és színekkel.
Miért sokkal gyorsabb a Gauss-Splatting renderelése, mint az eredeti NeRF?
A blobok csempe alapú raszterezéssel történő kivetítése és keverése elkerüli a NeRF lassú pixelenkénti sugármenetét, lehetővé téve a valós idejű sebességet.
Milyen információkat tárol az egyes 3D Gaussian?
Minden egyes folt egy pozíciót, egy kovariancia (méret és tájolás), egy átlátszatlanság és egy színinformációt tartalmaz.
Mit használnak arra, hogy egy folt színe megváltozzon a látószöggel?
A színeket gömbharmonikusok kódolják, így minden Gauss különböző irányokból eltérően jelenhet meg, és rögzíti a visszaverődéseket.
Hogyan kezdődik általában a képzés a Gauss-splattingben?
Ritka pontokkal kezdődik a szerkezet-mozgásból kamera kalibrációból, majd onnan optimalizálja a Gauss-féleséget.