Plenoxelek és Voxel sugárzási mezők
A Plenoxels megmutatta, hogy NeRF-minőségű eredményekkel rekonstruálhat egy 3D-s jelenetet neurális hálózat nélkül is – csak a színt és a sűrűséget tároló voxelrácsot.
Áttekintés
The result trains roughly 100x faster than the original NeRF while matching its visual quality.
Mély merülés
A NeRF eléri a fotorealizmust, de lassú, mert minden minta előrehaladást igényel egy mély neurális hálózaton, és a képzés órákig vagy napokig tarthat. Plenoxels (Sara Fridovich-Keil, Alex Yu et al., 2022) provokatív kérdést tett fel: szükség van egyáltalán a hálózatra? A válaszuk nem volt. Egy ritka 3D-s voxelrácsként ábrázolják a jelenetet. Minden foglalt voxel egyetlen átlátszatlansági értéket, valamint gömbszerű harmonikus együtthatókat tárol, amelyek nézetfüggő színeket kódolnak. Egy pixel megjelenítéséhez a rendszer trilineárisan interpolálja ezeket az értékeket a sugár mentén, és szabványos térfogati rendereléssel kombinálja őket. Mivel nincs hálózat, az egészet közvetlenül a voxel értékek gradiens süllyedésével optimalizálják, a simaság érdekében szabályosítva. A fő eredmény: a NeRF-hez hasonló minőség, percek alatt betanítva egyetlen GPU-n.
Technikai betekintés
A nézetfüggő szín az okos rész. Ahelyett, hogy a hálózat látószögenként RGB-t adna ki, minden voxel színcsatornánként egy kis gömbharmonikus (SH) együtthatókészletet tárol. Az SH-alap sugárirányban történő kiértékelése rekonstruálja, hogy az adott pont színe hogyan változik a nézőponttól függően – tükrözi a csúcsfényeket és a tükröződéseket. Az átlátszatlanság irányfüggetlen. A differenciálható trilineáris interpoláció és a térfogati renderelés minden voxelértéket közvetlenül betaníthatóvá tesz, így az optimalizálás egyszerű, hálózatmentes, legkisebb négyzetek stílusának megfelelő illesztés.
Stratégiai hatás
Sebesség és méretarány
A vizuális AI képes automatizálni az ellenőrzési, észlelési és címkézési feladatokat nagy léptékben.
Építési lehetőségek
A kreatív csapatok gyorsabban prototípusokat készíthetnek a koncepciókból, kevesebb kézi átdolgozással.
Csapat és munkafolyamat
A műveletek olyan kép- és videojeleket használhatnak, amelyeket korábban nehéz volt feldolgozni.
A Plenoxelek és a Voxel Radiance Fields jövője
Plenoxels bebizonyította, hogy a reprezentáció, nem pedig a neurális hálózat vezérli a NeRF minőségét – ez a megállapítás átalakította a mezőt. Közvetlenül ihlette az explicit és hibrid módszereket, mint például az Instant-NGP hash rácsait, és végső soron a 3D Gaussian Splatting-et, amely most uralja a valós idejű sugárzási megjelenítést. Várható a folyamatos mozgás az explicit, GPU-barát primitívek felé, amelyek másodpercek alatt betanulnak és valós időben jelennek meg, és a neurális hálózatokat szelektíven használják, nem pedig központi színtárként.
Valós megvalósítás
Gyorsan, percek alatt rekonstruálhatja a rögzített objektumot 3D-s eszközzé e-kereskedelem vagy múzeumi digitalizálás céljából, a várakozások helyett.
Újszerű nézetű szintézis gyors prototípus-készítése egyetlen fogyasztói GPU-n kutatási és oktatási célokra.
Szerkeszthető, explicit voxeljelenetek létrehozása, amelyeket a művészek közvetlenül megtekinthetnek és levághatnak, ellentétben az átlátszatlan hálózati súlyokkal.
Tanító példaként szolgálva arra, hogy a jelenetábrázolás, nem pedig a mély tanulás az, ami fotorealisztikus eredményeket hoz.
Kockázatok és védőkorlátok
A képhez fűződő jogok és a beleegyezés jogi kockázatot jelenthet, ha a származás nem egyértelmű.
A modell teljesítménye a világítástól, a demográfiai adatoktól és a környezettől függően változhat.
A hamis pozitívumok észrevétlenek maradhatnak, hacsak nem figyelik a megbízhatósági küszöböket.
Végrehajtási ütemterv
Határozza meg a pontosság, a visszahívás és a hibaköltségek elfogadási kritériumait.
Tesztelje a valós gyártási feltételeknek megfelelő adatokkal.
Adjon hozzá emberi felülvizsgálatot az alacsony megbízhatóságú vagy nagy hatású előrejelzésekhez.
A modell elsodródásának nyomon követése és újbóli érvényesítése a kamera vagy az adatkészlet módosítása után.
Folytassa a felfedezést
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Plenoxels and Voxel Radiance Fields quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Következő útmutató
Neurális sugárzási mezők
Gyakran ismételt kérdések
What is Plenoxels and Voxel Radiance Fields?
A Plenoxels megmutatta, hogy NeRF-minőségű eredményekkel rekonstruálhat egy 3D-s jelenetet neurális hálózat nélkül is – csak a színt és a sűrűséget tároló voxelrácsot. Az eredmény nagyjából 100-szor gyorsabban edz, mint az eredeti NeRF, miközben megfelel a vizuális minőségnek.
Mi a legmeglepőbb tervezési választás a Plenoxelsben a NeRF-hez képest?
A Plenoxels közvetlenül egy voxelrácsban tárolja a jelenetet, és optimalizálja ezeket az értékeket, neurális hálózat nélkül.
Mit tárolnak az egyes foglalt voxelek a Plenoxelsben a nézetfüggő színek rögzítéséhez?
Minden voxel átlátszatlanságot és színcsatornánként szférikus harmonikus együtthatókat tartalmaz, amelyek kódolják, hogyan változik a szín a nézési iránytól függően.
Körülbelül mennyivel edzettek gyorsabban a Plenoxelek az eredeti NeRF-hez képest?
A mintánkénti hálózati áthaladások kiküszöbölésével a Plenoxelek nagyjából 100-szor gyorsabban edzettek, percek alatt befejezve.
Hogyan lehet az értékeket lekérni a voxelrácsból egy sugár mentén?
A Plenoxels differenciálható trilineáris interpolációt használ a szín és az átlátszóság zökkenőmentes leolvasására a voxelközpontok között.
Milyen szélesebb körű következtetést mutatott be a Plenoxels a terepen?
A NeRF minőség és a hálózat nélküli egyeztetése révén a Plenoxels megmutatta, hogy az eredményekért nem az MLP, hanem a reprezentáció és az optimalizálás a felelős.