Пленоксели и вокселни радиационни полета
Plenoxels показаха, че можете да реконструирате 3D сцена с резултати с NeRF качество без каквато и да е невронна мрежа - просто решетка от воксели, съхраняваща цвят и плътност.
Преглед
The result trains roughly 100x faster than the original NeRF while matching its visual quality.
Дълбоко гмуркане
NeRF постига фотореализъм, но е бавен, защото всяка проба изисква преминаване напред през дълбока невронна мрежа и обучението може да отнеме часове или дни. Plenoxels (Sara Fridovich-Keil, Alex Yu et al., 2022) зададоха провокативен въпрос: необходима ли е мрежата? Техният отговор беше не. Те представят сцената като рядка 3D вокселна мрежа. Всеки зает воксел съхранява една стойност на непрозрачност плюс сферични хармонични коефициенти, които кодират зависим от изгледа цвят. За да изобрази пиксел, системата трилинейно интерполира тези стойности по лъча и ги комбинира със стандартно обемно изобразяване. Тъй като няма мрежа, цялото нещо се оптимизира директно с градиентно спускане на стойностите на вокселите, регулирани за гладкост. Основният резултат: сравнимо качество с NeRF, обучен за минути на един GPU.
Техническа информация
Зависещият от изгледа цвят е умната част. Вместо мрежа, извеждаща RGB за ъгъл на гледане, всеки воксел съхранява малък набор от коефициенти на сферична хармоника (SH) за цветен канал. Оценяването на SH основата в посоката на лъча възстановява как цветът на тази точка се променя в зависимост от гледната точка – улавяйки огледални светлини и отражения. Непрозрачността не зависи от посоката. Диференцируема трилинейна интерполация плюс изобразяване на обема прави всяка стойност на воксел директно обучаема, така че оптимизацията е просто, без мрежа напасване в стил на най-малките квадрати.
Стратегическо въздействие
Speed and scale
Visual AI може да автоматизира задачи за проверка, откриване и маркиране в мащаб.
Build choices
Творческите екипи могат да създават прототипи на концепции по-бързо с по-малко ръчни ревизии.
Team and workflow
Операциите могат да използват изображения и видео сигнали, които преди са били трудни за обработка.
Бъдещето на пленокселите и вокселните радиационни полета
Plenoxels доказа, че представянето, а не невронната мрежа, движи качеството на NeRF - находка, която промени полето. Той директно вдъхнови експлицитни и хибридни методи като хеш-решетките на Instant-NGP и, в крайна сметка, 3D Gaussian Splatting, който сега доминира в изобразяването на излъчване в реално време. Очаквайте непрекъснато движение към изрични, удобни за GPU примитиви, които се обучават за секунди и изобразяват в реално време, като невронните мрежи се използват селективно, а не като хранилище на основна сцена.
Внедряване в реалния свят
Бързо реконструиране на заснет обект в 3D актив за минути за електронна търговия или музейна цифровизация, вместо да чакате с часове.
Бързо създаване на прототипи на синтез на нов изглед на един потребителски GPU за научни изследвания и образование.
Генериране на редактируеми, ясни вокселни сцени, които артистите могат директно да инспектират и подрязват, за разлика от непрозрачните мрежови тежести.
Служи като учебен пример, че представянето на сцената, а не дълбокото обучение, е това, което дава фотореалистични резултати.
Рискове и предпазни огради
Правата върху изображението и съгласието могат да се превърнат в правни рискове, ако произходът е неясен.
Производителността на модела може да варира в зависимост от осветлението, демографските данни и средата.
Фалшивите положителни резултати могат да останат незабелязани, освен ако не се наблюдават праговете на достоверност.
Пътна карта за изпълнение
Определете критерии за приемане за прецизност, извикване и разходи за грешки.
Тествайте с данни, които съответстват на реалните производствени условия.
Добавете преглед от човек за прогнози с ниска степен на сигурност или с голямо въздействие.
Проследявайте дрейфа на модела и проверявайте отново след промени в камерата или набора от данни.
Продължете да изследвате
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Plenoxels and Voxel Radiance Fields quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Невронни радиационни полета
Frequently asked questions
What is Plenoxels and Voxel Radiance Fields?
Plenoxels показаха, че можете да реконструирате 3D сцена с резултати с NeRF качество без каквато и да е невронна мрежа - просто решетка от воксели, съхраняваща цвят и плътност. Резултатът се тренира приблизително 100 пъти по-бързо от оригиналния NeRF, като същевременно съответства на визуалното му качество.
Кой е най-изненадващият избор на дизайн в Plenoxels в сравнение с NeRF?
Plenoxels съхранява сцената директно във вокселна мрежа и оптимизира тези стойности, без невронна мрежа в тръбопровода.
Какво съхранява всеки зает воксел в Plenoxels, за да улови зависим от изгледа цвят?
Всеки воксел съдържа непрозрачност плюс сферични хармонични коефициенти за цветен канал, които кодират как цветът се променя с посоката на гледане.
Приблизително колко по-бързо тренираха Plenoxels в сравнение с оригиналния NeRF?
Чрез елиминиране на мрежовите пропуски за извадка, Plenoxels тренираха от порядъка на 100 пъти по-бързо, завършвайки за минути.
Как се извличат стойности от вокселната мрежа по протежение на лъч?
Plenoxels използва диференцируема трилинейна интерполация за гладко четене на цвета и непрозрачността между центровете на вокселите.
Какво по-широко заключение показаха Plenoxels на полето?
Съпоставяйки NeRF качеството с липса на мрежа, Plenoxels показа, че представянето и оптимизацията, а не MLP, са отговорни за резултатите.