Пленоксели и воксельные поля излучения
Пленоксели показали, что можно реконструировать 3D-сцену с результатами качества NeRF вообще без какой-либо нейронной сети — просто сетка вокселей, хранящая цвет и плотность.
Обзор
The result trains roughly 100x faster than the original NeRF while matching its visual quality.
Глубокое погружение
NeRF достигает фотореализма, но работает медленно, поскольку каждый образец требует прямого прохождения через глубокую нейронную сеть, а обучение может занять часы или дни. Пленокселы (Сара Фридович-Кейл, Алекс Ю и др., 2022) задали провокационный вопрос: а нужна ли вообще сеть? Их ответ был нет. Они представляют сцену в виде разреженной трехмерной воксельной сетки. Каждый занятый воксел хранит одно значение непрозрачности плюс коэффициенты сферических гармоник, которые кодируют цвет, зависящий от вида. Для рендеринга пикселя система трилинейно интерполирует эти значения вдоль луча и объединяет их со стандартным объемным рендерингом. Поскольку сети нет, все это оптимизируется напрямую с помощью градиентного спуска по значениям вокселей, регуляризованных для плавности. Главный результат: качество, сравнимое с NeRF, обучение за считанные минуты на одном графическом процессоре.
Техническая информация
Цвет, зависящий от вида, — это умная часть. Вместо сети, выдающей RGB для каждого угла обзора, каждый воксель хранит небольшой набор коэффициентов сферических гармоник (SH) для каждого цветового канала. Оценка базиса SH в направлении луча реконструирует, как цвет этой точки меняется в зависимости от точки обзора, фиксируя зеркальные блики и отражения. Непрозрачность не зависит от направления. Дифференцируемая трилинейная интерполяция плюс объемный рендеринг позволяют напрямую обучать каждое значение воксела, поэтому оптимизация представляет собой простую, не требующую использования сети технологию метода наименьших квадратов.
Стратегическое воздействие
Скорость и масштаб
Визуальный ИИ может автоматизировать задачи проверки, обнаружения и маркировки в любом масштабе.
Выбор сборки
Творческие группы могут быстрее создавать прототипы концепций с меньшим количеством доработок вручную.
Команда и рабочий процесс
Операции могут использовать изображения и видеосигналы, которые раньше было трудно обрабатывать.
Будущее пленокселей и воксельных сияющих полей
Пленокселы доказали, что качество NeRF определяется представлением, а не нейронной сетью — открытие, которое изменило эту область. Он напрямую вдохновил явные и гибридные методы, такие как хеш-сетки Instant-NGP и, в конечном итоге, 3D Gaussian Splatting, который сейчас доминирует в рендеринге сияния в реальном времени. Ожидайте дальнейшего движения к явным, дружественным к графическому процессору примитивам, которые обучаются за секунды и визуализируются в реальном времени, при этом нейронные сети используются выборочно, а не в качестве основного хранилища сцен.
Реальная реализация
Быстрое преобразование захваченного объекта в 3D-ресурс за считанные минуты для электронной коммерции или оцифровки музея вместо часов ожидания.
Быстрое создание прототипов синтеза новых представлений на одном потребительском графическом процессоре для исследований и образования.
Создание редактируемых, явных воксельных сцен, которые художники могут напрямую проверять и удалять, в отличие от непрозрачных сетевых весов.
Служит обучающим примером того, что именно представление сцены, а не глубокое обучение, дает фотореалистичные результаты.
Риски и ограничения
Права на изображение и согласие могут стать юридическими рисками, если происхождение неясно.
Производительность модели может варьироваться в зависимости от освещения, демографии и окружающей среды.
Ложноположительные результаты могут остаться незамеченными, если не контролировать пороговые значения достоверности.
Дорожная карта реализации
Определите критерии приемки точности, стоимости отзыва и ошибок.
Тестируйте с данными, которые соответствуют реальным производственным условиям.
Добавьте человеческую проверку для прогнозов с низкой достоверностью или высокой эффективностью.
Отслеживайте дрейф модели и выполняйте ее повторную проверку после изменений камеры или набора данных.
Продолжайте исследовать
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Plenoxels and Voxel Radiance Fields quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Следующее руководство
Нейронные поля излучения
Часто задаваемые вопросы
What is Plenoxels and Voxel Radiance Fields?
Пленоксели показали, что можно реконструировать 3D-сцену с результатами качества NeRF вообще без какой-либо нейронной сети — просто сетка вокселей, хранящая цвет и плотность. Результат обучается примерно в 100 раз быстрее, чем оригинальный NeRF, сохраняя при этом визуальное качество.
Какой дизайн Plenoxels является самым удивительным по сравнению с NeRF?
Plenoxels сохраняет сцену непосредственно в сетке вокселов и оптимизирует эти значения без использования нейронной сети в конвейере.
Что хранит каждый занятый воксел в Plenoxels для захвата цвета, зависящего от вида?
Каждый воксель содержит непрозрачность плюс коэффициенты сферических гармоник для каждого цветового канала, которые кодируют изменение цвета в зависимости от направления просмотра.
Насколько быстрее обучались Plenoxels по сравнению с оригинальным NeRF?
Устранив проходы по сети для каждой выборки, Plenoxels обучались примерно в 100 раз быстрее и заканчивали обучение за считанные минуты.
Как значения извлекаются из сетки вокселей вдоль луча?
Plenoxels использует дифференцируемую трилинейную интерполяцию для плавного считывания цвета и непрозрачности между центрами вокселей.
Какой более широкий вывод продемонстрировал Пленокселс?
Сопоставив качество NeRF с отсутствием сети, Plenoxels продемонстрировали, что за результаты отвечают представление и оптимизация, а не MLP.