ДалееСледующее руководство
Кодирование парами байтов
Языковой ИИ
Визуальное руководство по искусственному интеллекту
Мгновенное хэш-кодирование NGP
Instant-NGP — это технология NVIDIA, которая обучает поля нейронного излучения и другие примитивы нейронной графики за секунды, а не за часы, сохраняя обучаемые функции в хеш-таблице с несколькими разрешениями.
Прослушайте это руководствоОзвучено ИИ · ~2 min
На этой странице2 минуты чтения
Обзор
Это важно, поскольку благодаря ему захват высококачественных 3D-сцен происходит достаточно быстро, чтобы казаться почти интерактивным.
Глубокое погружение
Примитивы Instant Neural Graphics (NVIDIA, 2022) атакуют главное узкое место NeRF: большой MLP, который необходимо запрашивать миллионы раз. Вместо кодирования 3D-позиции с фиксированными синусоидальными характеристиками и использования большой сети Instant-NGP использует хэш-кодирование с несколькими разрешениями. Пространство покрыто несколькими сетками разного разрешения; каждая ячейка сетки отображается с помощью пространственной хеш-функции в компактную таблицу обучаемых векторов признаков. Чтобы закодировать точку, система ищет и трилинейно интерполирует характеристики каждого уровня разрешения, объединяет их и передает в крошечный MLP. Поскольку большая часть изученного представления находится в справочных таблицах и остается лишь небольшая сеть, обучение и рендеринг становятся на порядки быстрее, часто превращая часы в секунды.
Реальная реализация
Захват реального объекта или комнаты в NeRF за считанные секунды из набора фотографий с телефона
Подбор функции расстояния со знаком нейрона для быстрого представления трехмерной формы
Сжатие и представление гигапиксельного изображения в виде непрерывного нейронного поля.
Обеспечение быстрой реконструкции сцены с помощью исследовательских инструментов и предварительной визуализации визуальных эффектов.
Будущее мгновенного хэш-кодирования NGP
Кодирование хеш-сетки стало строительным блоком по умолчанию, выходящим далеко за пределы оригинальной демонстрации NeRF, используемой для синтеза представлений в реальном времени, подгонки SDF и гигапиксельных изображений, моделирования, а также в качестве основы таких наборов инструментов, как Nerfstudio. В то время как Gaussian Splatting теперь конкурирует за скорость необработанного рендеринга, хеш-кодирование остается центральным там, где необходимы компактные, плавные, запрашиваемые нейронные поля, и текущая работа объединяет их и подталкивает к созданию более крупных, динамичных и потоковых сцен.
Применение на практике
Почему это важно
- Скорость и масштаб. Визуальный ИИ может автоматизировать задачи проверки, обнаружения и маркировки в любом масштабе.
- Выбор сборки. Творческие группы могут быстрее создавать прототипы концепций с меньшим количеством доработок вручную.
- Команда и рабочий процесс. Операции могут использовать изображения и видеосигналы, которые раньше было трудно обрабатывать.
Следите за
- Права на изображение и согласие могут стать юридическими рисками, если происхождение неясно.
- Производительность модели может варьироваться в зависимости от освещения, демографии и окружающей среды.
- Ложноположительные результаты могут остаться незамеченными, если не контролировать пороговые значения достоверности.
Следующие шаги
- Определите критерии приемки точности, стоимости отзыва и ошибок.
- Тестируйте с данными, которые соответствуют реальным производственным условиям.
- Добавьте человеческую проверку для прогнозов с низкой достоверностью или высокой эффективностью.
- Отслеживайте дрейф модели и выполняйте ее повторную проверку после изменений камеры или набора данных.
Продолжайте исследовать
Бесплатная рассылка
Получайте ежедневный AI-обзор
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Take the Instant-NGP Hash Encoding quiz
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Часто задаваемые вопросы
Что такое хэш-кодирование Instant-NGP?
Instant-NGP — это технология NVIDIA, которая обучает поля нейронного излучения и другие примитивы нейронной графики за секунды, а не за часы, сохраняя обучаемые функции в хеш-таблице с несколькими разрешениями. Это важно, потому что благодаря ему захват высококачественных 3D-сцен происходит достаточно быстро, чтобы казаться почти интерактивным.
Каково основное узкое место в классических NeRF, на которые нацелен Instant-NGP?
Классические NeRF полагаются на большой MLP, который запрашивают очень часто; Instant-NGP сокращает эту работу для ускорения обучения и рендеринга.
Где Instant-NGP хранит большую часть своих обучаемых параметров?
Обучаемые функции хранятся в хеш-таблицах с несколькими разрешениями, оставляя только крошечный MLP для объединения искомых функций.
Как функции объединяются на разных уровнях разрешения?
Характеристики каждого уровня трилинейно интерполируются и объединяются перед передачей в небольшой MLP.
Как Instant-NGP обрабатывает хеш-коллизии в своих таблицах с высоким разрешением?
Столкновения разрешены; регионы с высокой плотностью создают более сильные градиенты, поэтому небольшой MLP и оптимизация учатся разрешать общие слоты.
Насколько примерно Instant-NGP ускоряет обучение NeRF?
Переместив представление в хэш-таблицы и уменьшив MLP, обучение, которое занимало часы, можно завершить за секунды.
Продолжайте учиться
Связанные руководства
Другие руководства, выбранные по этой теме