Neurális sugárzási mezők
A Neural Radiance Fields (NeRF) egy teljes 3D-s jelenetet rekonstruál néhány közönséges fényképből, lehetővé téve, hogy a fényképezőgépet vadonatúj nézőpontokba repítsen.
Áttekintés
It reframed 3D capture as training a tiny neural network rather than building a mesh.
Mély merülés
A Mildenhall és munkatársai 2020-ban vezették be, a NeRF egy egész jelenetet tárol egy kis neurális hálózatban (egy többrétegű perceptronban). Adott egy 3D-s pontot és egy nézési irányt, a hálózat megjeleníti a pont színét és átlátszatlanságát. A pixelek rendereléséhez a NeRF sugarat bocsát ki a jelenetbe, mintát vesz a mentén lévő pontokból, lekérdezi a hálózatot, és térfogati rendereléssel keveri az eredményeket. Mivel ez az egész folyamat differenciálható, a hálózatot úgy képezik ki, hogy összehasonlítják a renderelt képpontokat a valós bemeneti fényképekkel, és addig módosítják, amíg megegyeznek. Az eredmény a lenyűgöző fotorealizmus, beleértve a nézettől függő effektusokat, például a tükröződéseket és a fényes kiemeléseket, amelyek mozgás közben változnak. A hátrányok közé tartozik, hogy minden jelenetnek saját edzési futásra van szüksége, és az eredeti módszer lassú volt mind az edzésben, mind a renderelésben.
Technikai betekintés
A NeRF a jelenetet folyamatos 5D funkcióként jeleníti meg: adjon meg egy pozíciót (x, y, z) és egy nézési irányt (két szög), és az MLP visszaadja az RGB színt és hangerősséget. Lényeges részlet a helyzetkódolás, amely a koordinátákat nagyfrekvenciás szinusz- és koszinuszfüggvényeken keresztül képezi le, így a hálózat elmosódott kimenet helyett éles részleteket rögzíthet. A renderelés integrálja a színt és a sűrűséget az egyes kamerasugarak mentén, jobban súlyozva a közelebbi, átlátszatlanabb mintákat, pontosan a klasszikus térfogati renderelés matematikai módszerével, amely taníthatóvá válik.
Stratégiai hatás
Sebesség és méretarány
A vizuális AI képes automatizálni az ellenőrzési, észlelési és címkézési feladatokat nagy léptékben.
Építési lehetőségek
A kreatív csapatok gyorsabban prototípusokat készíthetnek a koncepciókból, kevesebb kézi átdolgozással.
Csapat és munkafolyamat
A műveletek olyan kép- és videojeleket használhatnak, amelyeket korábban nehéz volt feldolgozni.
Az idegi sugárzási mezők jövője
A NeRF-kutatás 2020 után robbanásszerűen megnőtt, olyan nyomon követésekkel, mint az Instant-NGP órákról másodpercekre vágó tréning hash-grid kódolással, és a Mip-NeRF a skálák minőségének javításával. A mező egyre inkább egybeolvad a Gauss-Splattinggel, vagy kihívást jelent a gyorsabb renderítéssel. NeRF-ből származó technikákra számíthat a térképezésben, az e-kereskedelmi terméknézetekben, a filmes vizuális effektusokban és az AR/VR-ben, valamint a dinamikus NeRF-ek terén, amelyek kezelik a mozgó jeleneteket és a „vadon” rögzítést változó megvilágítás mellett. A fő témák a sebesség, a szerkeszthetőség és a jelenetek rögzítése kevesebb, rendetlenebb fotóból.
Valós megvalósítás
Ha egy objektumról készült telefonos videót 3D-s nézetté változtat, megkerülheti az online vásárlást
Valódi helyszínek rekonstrukciója fotorealisztikus hátterekként filmekhez és vizuális effektusokhoz
Magával ragadó 3D-s jelenetek készítése a virtuális és kiterjesztett valóság élményeihez
Kulturális örökségi helyszínek és műtárgyak digitális megőrzése fotókészletekből
Kockázatok és védőkorlátok
A képhez fűződő jogok és a beleegyezés jogi kockázatot jelenthet, ha a származás nem egyértelmű.
A modell teljesítménye a világítástól, a demográfiai adatoktól és a környezettől függően változhat.
A hamis pozitívumok észrevétlenek maradhatnak, hacsak nem figyelik a megbízhatósági küszöböket.
Végrehajtási ütemterv
Határozza meg a pontosság, a visszahívás és a hibaköltségek elfogadási kritériumait.
Tesztelje a valós gyártási feltételeknek megfelelő adatokkal.
Adjon hozzá emberi felülvizsgálatot az alacsony megbízhatóságú vagy nagy hatású előrejelzésekhez.
A modell elsodródásának nyomon követése és újbóli érvényesítése a kamera vagy az adatkészlet módosítása után.
Folytassa a felfedezést
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Neural Radiance Fields quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Következő útmutató
Mip-NeRF és Anti-Aliased Radiance Fields
Gyakran ismételt kérdések
What is Neural Radiance Fields?
A Neural Radiance Fields (NeRF) egy teljes 3D-s jelenetet rekonstruál néhány közönséges fényképből, lehetővé téve, hogy a fényképezőgépet vadonatúj nézőpontokba repítsen. Átfogalmazta a 3D-rögzítést egy apró neurális hálózat betanítására, nem pedig háló építésére.
Mi a neurális sugárzási mező fő célja?
A NeRF 3D-s ábrázolást épít fel egy sor képből, lehetővé téve a fotorealisztikus megjelenítést olyan nézőpontokból, amelyek nem az eredeti fényképeken szerepelnek.
Mit ad ki a NeRF neurális hálózat egy adott bemenethez?
A 3D pozíció és nézési irány esetén az MLP ezen a ponton adja vissza a színt és a sűrűséget (átlátszatlanságot).
Melyek a NeRF 5D funkciójának bemenetei?
A NeRF 3D-s helyet (x, y, z) és nézési irányt (két szöget) vesz fel, összesen öt bemenetet.
Hogyan változtatja a NeRF hálózati kimeneteit végső pixelszínré?
A NeRF mintákat vesz az egyes sugarak mentén, és integrálja azok színét a sűrűséggel súlyozva, a klasszikus térfogatmegjelenítési egyenlet differenciálhatóvá tette.
Miért használ a NeRF pozíciókódolást a bemeneti koordinátákon?
A koordináták nagyfrekvenciás szinusz/koszinusz függvényekkel történő leképezése lehetővé teszi, hogy az MLP finom részleteket jelenítsen meg az elmosódott eredmények helyett.