Невронни радиационни полета
Neural Radiance Fields (NeRF) възстановява пълна 3D сцена от шепа обикновени снимки, което ви позволява да летите с камерата до чисто нови гледни точки.
Преглед
It reframed 3D capture as training a tiny neural network rather than building a mesh.
Дълбоко гмуркане
Въведен през 2020 г. от Mildenhall и колеги, NeRF съхранява цяла сцена в малка невронна мрежа (многослоен перцептрон). Като се има предвид 3D точка и посока на гледане, мрежата извежда цвета на тази точка и колко непрозрачна е тя. За да изобрази пиксел, NeRF изстрелва лъч в сцената, взема проби от точки по него, отправя запитване към мрежата и смесва резултатите, използвайки обемно изобразяване. Тъй като целият този процес е диференцируем, мрежата се обучава чрез сравняване на изобразените пиксели с реалните входни снимки и коригиране, докато съвпаднат. Резултатът е поразителен фотореализъм, включително зависещи от изгледа ефекти като отражения и гланцови акценти, които се променят, докато се движите. Недостатъците са, че всяка сцена се нуждае от собствен тренировъчен цикъл, а оригиналният метод беше бавен както за обучение, така и за изобразяване.
Техническа информация
NeRF представя сцена като непрекъсната 5D функция: въведете позиция (x, y, z) плюс посока на гледане (два ъгъла) и MLP връща RGB цвят и плътност на обема. Решаващ детайл е позиционното кодиране, което картографира координатите чрез високочестотни синусови и косинусови функции, така че мрежата да може да улавя остри детайли, вместо да създава замъглени резултати. Изобразяването интегрира цвят и плътност по протежение на всеки лъч на камерата, като претегля по-близките, по-непрозрачни проби по-силно, точно математиката на класическото обемно изобразяване, което може да се обучи.
Стратегическо въздействие
Speed and scale
Visual AI може да автоматизира задачи за проверка, откриване и маркиране в мащаб.
Build choices
Творческите екипи могат да създават прототипи на концепции по-бързо с по-малко ръчни ревизии.
Team and workflow
Операциите могат да използват изображения и видео сигнали, които преди са били трудни за обработка.
Бъдещето на невронните радиационни полета
Изследванията на NeRF експлодираха след 2020 г. с последващи действия като Instant-NGP, намаляващи обучението от часове на секунди, използвайки хеш-решетъчни кодирания, и Mip-NeRF, подобряващ качеството във всички мащаби. Полето все повече се слива с или е предизвикано от Gaussian Splatting, което рендира по-бързо. Очаквайте извлечени от NeRF техники за картографиране, изгледи на продукти за електронна търговия, визуални ефекти на филми и AR/VR, плюс растеж на динамичните NeRF, които обработват движещи се сцени и заснемания „в дивата природа“ с променящо се осветление. Големите теми са скорост, възможност за редактиране и заснемане на сцени от по-малко, по-разхвърляни снимки.
Внедряване в реалния свят
Превръщайки телефонно видео на обект в 3D изглед, можете да обикаляте за онлайн пазаруване
Реконструиране на реални места като фотореалистични фонове за филми и визуални ефекти
Изграждане на завладяващи 3D сцени за преживявания с виртуална и разширена реалност
Дигитално съхраняване на обекти на културното наследство и артефакти от фотосесии
Рискове и предпазни огради
Правата върху изображението и съгласието могат да се превърнат в правни рискове, ако произходът е неясен.
Производителността на модела може да варира в зависимост от осветлението, демографските данни и средата.
Фалшивите положителни резултати могат да останат незабелязани, освен ако не се наблюдават праговете на достоверност.
Пътна карта за изпълнение
Определете критерии за приемане за прецизност, извикване и разходи за грешки.
Тествайте с данни, които съответстват на реалните производствени условия.
Добавете преглед от човек за прогнози с ниска степен на сигурност или с голямо въздействие.
Проследявайте дрейфа на модела и проверявайте отново след промени в камерата или набора от данни.
Продължете да изследвате
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Neural Radiance Fields quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Mip-NeRF и Anti-Aliased Radiance Fields
Frequently asked questions
What is Neural Radiance Fields?
Neural Radiance Fields (NeRF) възстановява пълна 3D сцена от шепа обикновени снимки, което ви позволява да летите с камерата до чисто нови гледни точки. Той преформулира 3D заснемането като обучение на малка невронна мрежа, вместо изграждане на мрежа.
Каква е основната цел на невронното радиационно поле?
NeRF изгражда 3D представяне от набор от изображения, което позволява фотореалистично изобразяване от гледни точки, които не са в оригиналните снимки.
Какво извежда NeRF невронната мрежа за даден вход?
За 3D позиция и посока на гледане MLP връща цвета и плътността (непрозрачност) в тази точка.
Какви са входовете за 5D функцията на NeRF?
NeRF взема 3D местоположение (x, y, z) и посока на гледане (два ъгъла), общо пет входа.
Как NeRF превръща своите мрежови изходи в окончателен пикселен цвят?
NeRF взема проби от точки по протежение на всеки лъч и интегрира техния цвят, претеглен по плътност, класическото уравнение за обемно изобразяване, направено диференцируемо.
Защо NeRF използва позиционно кодиране на входните координати?
Картографирането на координати чрез високочестотни функции синус/косинус позволява на MLP да представя фини детайли вместо размазани резултати.