ДалееСледующее руководство
Генерация движения AnimateDiff
Визуальный ИИ
Визуальное руководство по искусственному интеллекту
Структура из движения
Structure from Motion (SfM) реконструирует геометрию 3D-сцены и положения камеры на основе набора перекрывающихся 2D-фотографий, снятых с разных точек зрения.
Прослушайте это руководствоОзвучено ИИ · ~2 min
На этой странице2 минуты чтения
Обзор
Это основа 3D-картографии, фотограмметрии и современных процессов реконструкции.
Глубокое погружение
SfM решает сразу две связанные неизвестные: где находилась каждая камера, когда она делала фотографию, и где расположены 3D-точки в мире. Он начинается с обнаружения отличительных точек (с использованием таких детекторов, как SIFT) на каждом изображении, а затем сопоставляет одну и ту же физическую точку на нескольких фотографиях. Используя эти соответствия и геометрию того, как 3D-точки проецируются на 2D-изображения, система оценивает относительное положение камеры с помощью эпиполярной геометрии. Точки триангулируются в разреженное трехмерное облако, а глобальная оптимизация, называемая пакетной корректировкой, объединяет все камеры и точки, чтобы минимизировать ошибку перепроецирования. В результате получается разреженное облако точек плюс калиброванные положения камеры — необходимая основа, на которой строятся более плотные методы реконструкции.
Реальная реализация
Беспилотная фотограмметрия, которая превращает наборы аэрофотоснимков в трехмерную модель местности и строит модели для съемки.
Восстановление поз камеры для загрузки реконструкций сцены NeRF и Gaussian Splatting
Цифровое сохранение объектов культурного наследия и статуй в виде 3D-моделей из коллекций туристических фотографий.
Реконструкция мест преступлений или происшествий в 3D по фотографиям следователей для судебно-медицинской экспертизы.
Будущее структуры из движения
SfM все больше объединяется с глубоким обучением: изученные детекторы функций и средства сопоставления (например, SuperPoint и SuperGlue) обрабатывают бестекстурные или повторяющиеся сцены, с которыми сталкивается классический SIFT. Он также передает нейронные представления сцены, такие как NeRF и Gaussian Splatting, которым необходимы позы камеры, предоставляемые SfM. Ожидайте более быстрых и надежных сквозных конвейеров, SfM в реальном времени на телефонах для AR и более тесной связи с SLAM для картографирования в реальном времени в робототехнике и автономной навигации.
Применение на практике
Почему это важно
- Скорость и масштаб. Визуальный ИИ может автоматизировать задачи проверки, обнаружения и маркировки в любом масштабе.
- Выбор сборки. Творческие группы могут быстрее создавать прототипы концепций с меньшим количеством доработок вручную.
- Команда и рабочий процесс. Операции могут использовать изображения и видеосигналы, которые раньше было трудно обрабатывать.
Следите за
- Права на изображение и согласие могут стать юридическими рисками, если происхождение неясно.
- Производительность модели может варьироваться в зависимости от освещения, демографии и окружающей среды.
- Ложноположительные результаты могут остаться незамеченными, если не контролировать пороговые значения достоверности.
Следующие шаги
- Определите критерии приемки точности, стоимости отзыва и ошибок.
- Тестируйте с данными, которые соответствуют реальным производственным условиям.
- Добавьте человеческую проверку для прогнозов с низкой достоверностью или высокой эффективностью.
- Отслеживайте дрейф модели и выполняйте ее повторную проверку после изменений камеры или набора данных.
Продолжайте исследовать
Бесплатная рассылка
Получайте ежедневный AI-обзор
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Take the Structure from Motion quiz
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Часто задаваемые вопросы
Что такое структура из движения?
Structure from Motion (SfM) реконструирует геометрию 3D-сцены и положения камеры на основе набора перекрывающихся 2D-фотографий, снятых с разных точек зрения. Это основа 3D-картографии, фотограмметрии и современных процессов реконструкции.
Какие две вещи оценивает Structure from Motion одновременно?
SfM совместно определяет трехмерную геометрию сцены и определяет, где находилась каждая камера, когда она снимала каждое изображение.
Какова роль сопоставления признаков в SfM?
Сопоставление обнаруженных функций (например, ключевых точек SIFT) на фотографиях дает соответствия, необходимые для вывода геометрии.
Что оптимизирует настройка пакета?
Пакетная корректировка — это глобальное нелинейное уточнение методом наименьших квадратов, сводящее к минимуму разрыв в пикселях между наблюдаемыми и проецируемыми точками.
Какую 3D-продукцию обычно производит SfM напрямую?
SfM дает редкий набор триангулированных точек и положений камеры; для полных поверхностей необходимы более плотные методы.
Какая геометрическая концепция связывает соответствующие точки между двумя изображениями камеры?
Эпиполярная геометрия ограничивает место, где точка, видимая на одном изображении, может появиться на другом, что позволяет оценить позу.
Продолжайте учиться
Связанные руководства
Другие руководства, выбранные по этой теме