Mip-NeRF и Anti-Aliased Radiance Fields
Mip-NeRF коригира замъглените, назъбени артефакти, които измъчват оригиналния NeRF, когато изобразявате сцени на различни разстояния или разделителни способности.
Преглед
It does this by tracing cones instead of infinitely thin rays, making 3D scene rendering both sharper and faster to train.
Дълбоко гмуркане
Оригиналният NeRF взема проби от сцена по тънки лъчи, една точка в даден момент, и захранва всяка 3D позиция в невронна мрежа. Проблемът: една точка игнорира каква част от сцената действително покрива един пиксел. Пиксел близо до камерата вижда малка област; същият пиксел далеч вижда огромен. Идентичното им вземане на проби причинява псевдоним — трептене и неравности, докато увеличавате или се движите. Mip-NeRF (Barron et al., 2021) заменя всеки лъч с конус и го разделя на конусовидни фрусти. Вместо да кодира точка, той кодира региона вътре във всеки фрустум, използвайки интегрирано позиционно кодиране (IPE), приближавайки обема с Гаус. Това позволява на една многомащабна мрежа да рендира чисто каквато и да е резолюция, намалявайки значително грешките и времето за обучение.
Техническа информация
Ключовият трик е интегрираното позиционно кодиране. Стандартният NeRF картографира точка чрез синусови и косинусови функции на много честоти. Mip-NeRF вместо това приближава пресечения конус като многовариантна гаусова сина и изчислява очакваната стойност на тези синусоиди върху тази гаусова сина. Високочестотните характеристики, които варират много вътре в голям фрустум, автоматично се отслабват към нула, досега или грубите региони използват само стабилна нискочестотна информация - точно поведението на антиалиасинг на mipmaps в класическата графика.
Стратегическо въздействие
Speed and scale
Visual AI може да автоматизира задачи за проверка, откриване и маркиране в мащаб.
Build choices
Творческите екипи могат да създават прототипи на концепции по-бързо с по-малко ръчни ревизии.
Team and workflow
Операциите могат да използват изображения и видео сигнали, които преди са били трудни за обработка.
Бъдещето на Mip-NeRF и Anti-Aliased Radiance Fields
Mip-NeRF стартира семейство полета с антиалиас. Mip-NeRF 360 разшири конусите до неограничени сцени на открито с изкривяване на свиване и Zip-NeRF слято конусообразно антиалиасинг с бързи хеш-решетъчни представяния, за да получите както качество, така и скорост. Очаквайте идеята за интегриран фрустум да продължи да мигрира към Gaussian splatting и тръбопроводи в реално време, където многомащабното изобразяване без псевдоними на телефони и слушалки е целта за AR, картографиране и потапящо улавяне.
Внедряване в реалния свят
Прецизно изобразяване на заснет обект в инструмент за преглед на продукти, който позволява на потребителите да увеличават мащаба от изглед в цялата стая до фини повърхностни детайли без трептене.
Реконструиране на големи външни сцени (чрез Mip-NeRF 360) за виртуален туризъм и прегледи на недвижими имоти, където камерата се движи през широк диапазон от дълбочини.
Генериране на последователни тренировъчни изображения с множество разделителни способности за роботика или симулатори за автономно шофиране.
Създаване на ясни синтетични кадри с нов изглед за предварителна визуализация на филм и VFX, където псевдонимът би нарушил кадъра.
Рискове и предпазни огради
Правата върху изображението и съгласието могат да се превърнат в правни рискове, ако произходът е неясен.
Производителността на модела може да варира в зависимост от осветлението, демографските данни и средата.
Фалшивите положителни резултати могат да останат незабелязани, освен ако не се наблюдават праговете на достоверност.
Пътна карта за изпълнение
Определете критерии за приемане за прецизност, извикване и разходи за грешки.
Тествайте с данни, които съответстват на реалните производствени условия.
Добавете преглед от човек за прогнози с ниска степен на сигурност или с голямо въздействие.
Проследявайте дрейфа на модела и проверявайте отново след промени в камерата или набора от данни.
Продължете да изследвате
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Mip-NeRF and Anti-Aliased Radiance Fields quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Невронни радиационни полета
Frequently asked questions
What is Mip-NeRF and Anti-Aliased Radiance Fields?
Mip-NeRF коригира замъглените, назъбени артефакти, които измъчват оригиналния NeRF, когато изобразявате сцени на различни разстояния или разделителни способности. Той прави това чрез проследяване на конуси вместо безкрайно тънки лъчи, което прави изобразяването на 3D сцена едновременно по-рязко и по-бързо за трениране.
Каква геометрична форма проследява Mip-NeRF през сцената вместо тънкия лъч, използван от оригиналния NeRF?
Mip-NeRF изхвърля конус от камерата през всеки пиксел и го разделя на конусовидни фрустуми, улавяйки обема, който пикселът всъщност покрива.
Какво е името на кодирането на Mip-NeRF, което замества стандартното позиционно кодиране?
Mip-NeRF въвежда интегрирано позиционно кодиране, което кодира област (апроксимирана по Гаус пресечена точка), а не една точка.
Защо оригиналният NeRF произвежда псевдоним, когато разстоянието на камерата се промени?
Точкова проба с тънък лъч игнорира отпечатъка на пиксела, така че близките и далечните пиксели се третират еднакво, причинявайки неравности и трептене.
Как Mip-NeRF приближава областта вътре в конусовидна пресечена част за кодиране?
Всяка пресечена точка се апроксимира чрез многовариантна гаусова сина и кодирането изчислява очакваната стойност на синусоидите върху тази гаусова сина.
Какво се случва с функциите за високочестотно кодиране вътре в голям фрустум?
Тъй като високочестотните синусоиди варират много в голям фрустум, интегрирането върху гаусовата система ги насочва към нула, давайки подобно на mipmap антиалиасинг.