Гауссово пятно
Gaussian Splatting представляет 3D-сцену как миллионы крошечных цветных полупрозрачных капель, которые можно визуализировать в реальном времени.
Обзор
It delivers NeRF-like photorealism while running fast enough for interactive viewing.
Глубокое погружение
Представленная на SIGGRAPH 2023 технология 3D Gaussian Splatting реконструирует сцены из фотографий, как NeRF, но использует явное представление вместо скрытой нейронной сети. Каждая сцена представляет собой облако трехмерных гауссиан, нечетких эллипсоидных пятен, и каждое пятно хранит положение, размер и ориентацию (ковариацию), непрозрачность и цвет. Вместо того, чтобы медленно пропускать лучи через сеть, этот метод «выбрасывает» эти капли прямо на экран и смешивает их — процесс, близкий к традиционной растеризации и, следовательно, очень быстрый. Обучение начинается с разреженного облака точек, созданного в результате калибровки камеры, затем оптимизируется капли, адаптивно добавляя детали там, где сцена недостаточно реконструирована, и удаляя там, где она перенаселена. Результатом является рендеринг в реальном времени с разрешением 1080p, качество которого не уступает лучшим NeRF, поэтому он быстро распространился через графику и инструменты захвата.
Техническая информация
Ключом является дифференцируемый растеризатор на основе тайлов. 3D-гауссианы проецируются в 2D, сортируются по глубине и альфа-смешиваются для каждого фрагмента экрана, поэтому рендеринг позволяет избежать попиксельного перемещения лучей, которое замедляет работу NeRF. Цвет сохраняется в виде сферических гармоник, что позволяет каждому капле менять внешний вид в зависимости от угла обзора для захвата отражений. Поскольку весь конвейер является дифференцируемым, тот же градиентный спуск с фотосопоставлением, используемый NeRF, оптимизирует положение, форму, непрозрачность и цвет капли, в то время как на этапе уплотнения увеличивается или разделяется гауссиан, чтобы добавить недостающие детали.
Стратегическое воздействие
Скорость и масштаб
Визуальный ИИ может автоматизировать задачи проверки, обнаружения и маркировки в любом масштабе.
Выбор сборки
Творческие группы могут быстрее создавать прототипы концепций с меньшим количеством доработок вручную.
Команда и рабочий процесс
Операции могут использовать изображения и видеосигналы, которые раньше было трудно обрабатывать.
Будущее гауссовского сплаттинга
Gaussian Splatting быстро переходит от исследований продуктов для 3D-захвата, картографирования и виртуального производства, отчасти потому, что он визуализируется в реальном времени на потребительских графических процессорах и даже в браузерах. Целью активной работы является уменьшение размеров файлов (сцены могут быть большими), обработка динамических и анимированных сцен, повторное освещение и редактирование отдельных объектов. Ожидайте более тесной интеграции с игровыми движками и AR/VR, гибридными методами, сочетающими знаки с сетками и захват видео с телефона. Его все чаще рассматривают как практическое дополнение или замену NeRF везде, где важна скорость интерактивности.
Реальная реализация
Создание в реальном времени удобных для изучения 3D-снимков помещений или продуктов для Интернета.
Виртуальное производство и предварительная визуализация фильма с помощью фотореалистичных навигационных декораций.
Быстрое 3D-сканирование объектов и окружающей среды с помощью видео с телефона или дрона
Создание интерактивных сцен AR/VR, которые без проблем работают на потребительском оборудовании.
Риски и ограничения
Права на изображение и согласие могут стать юридическими рисками, если происхождение неясно.
Производительность модели может варьироваться в зависимости от освещения, демографии и окружающей среды.
Ложноположительные результаты могут остаться незамеченными, если не контролировать пороговые значения достоверности.
Дорожная карта реализации
Определите критерии приемки точности, стоимости отзыва и ошибок.
Тестируйте с данными, которые соответствуют реальным производственным условиям.
Добавьте человеческую проверку для прогнозов с низкой достоверностью или высокой эффективностью.
Отслеживайте дрейф модели и выполняйте ее повторную проверку после изменений камеры или набора данных.
Продолжайте исследовать
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Gaussian Splatting quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Следующее руководство
Гауссовские процессы
Часто задаваемые вопросы
What is Gaussian Splatting?
Gaussian Splatting представляет 3D-сцену как миллионы крошечных цветных полупрозрачных капель, которые можно визуализировать в реальном времени. Он обеспечивает фотореализм, подобный NeRF, и при этом работает достаточно быстро для интерактивного просмотра.
Как Gaussian Splatting представляет 3D-сцену?
Сцена представляет собой явное облако трехмерных гауссиан, каждый из которых представляет собой нечеткий эллипсоид со своим положением, формой, непрозрачностью и цветом.
Почему Gaussian Splatting рендерится намного быстрее, чем оригинальный NeRF?
Проецирование и смешивание BLOB-объектов с помощью тайловой растеризации позволяет избежать медленного прохождения лучей NeRF попиксельно, обеспечивая скорость в реальном времени.
Какую информацию хранит каждый 3D-гауссиан?
Каждый большой объект несет в себе позицию, ковариацию (размер и ориентацию), непрозрачность и информацию о цвете.
Что используется для изменения цвета капли в зависимости от угла обзора?
Цвет кодируется сферическими гармониками, поэтому каждый гауссиан может выглядеть по-разному с разных направлений, улавливая отражения.
Как обычно начинается обучение Gaussian Splatting?
Он начинается с редких точек из калибровки камеры по структуре по движению, а затем оттуда оптимизируется гауссиан.