ДаліНаступний посібник
Генерація руху AnimateDiff
Візуальний ШІ
Візуальний AI GUIDE
Структура з руху
Структура з руху (SfM) реконструює геометрію 3D-сцени та положення камери з набору двовимірних фотографій, що перекриваються, зроблених з різних точок огляду.
Послухайте цей посібникШІ-розказаний · ~2 min
На цій сторінці2 хвилини читання
Огляд
Вона є основою 3D-картографування, фотограмметрії та сучасних реконструкційних трубопроводів.
Глибоке занурення
SfM вирішує дві пов’язані невідомі задачі одночасно: де кожна камера була під час фотографування та де розташовані 3D-точки у світі. Він починається з виявлення характерних точок (за допомогою детекторів, таких як SIFT) на кожному зображенні, а потім зіставлення тієї самої фізичної точки на кількох фотографіях. Використовуючи ці відповідності та геометрію того, як 3D-точки проектуються на 2D-зображення, система оцінює відносні пози камери за допомогою епіполярної геометрії. Точки тріангулюють у розріджену 3D-хмару, а глобальна оптимізація, яка називається груповим налаштуванням, уточнює всі камери та точки разом, щоб мінімізувати помилку повторного проектування. Результатом є розріджена хмара точок і калібровані позиції камери — важливий каркас, на якому базуються методи щільнішої реконструкції.
Реалізація в реальному світі
Фотограмметрія безпілотника, яка перетворює набори аерофотознімків у 3D-моделі місцевості та будівельні моделі для зйомки
Відновлення пози камери для початкової реконструкції сцен NeRF і Gaussian Splatting
Цифрове збереження об’єктів культурної спадщини та статуй як 3D-моделей із колекцій туристичних фотографій
Реконструкція місць злочину або нещасних випадків у 3D за фотографіями слідчих для криміналістичного аналізу
Майбутнє конструкції від руху
SfM дедалі більше поєднується з глибоким навчанням: навчені детектори функцій і відповідники (наприклад, SuperPoint і SuperGlue) обробляють безтекстурні або повторювані сцени, з якими погано справляється класичний SIFT. Він також подає нейронні представлення сцени, такі як NeRF і Gaussian Splatting, для яких потрібні пози камери, надані SfM. Очікуйте швидших і надійніших наскрізних конвеєрів, SfM у реальному часі на телефонах для доповненої реальності та більш тісного зв’язку з SLAM для живих карт у робототехніці та автономній навігації.
Застосування на практиці
Чому це важливо
- Швидкість і масштаб. Візуальний штучний інтелект може автоматизувати масштабні завдання перевірки, виявлення та позначення тегами.
- Створіть вибір. Творчі групи можуть створювати прототипи концепцій швидше з меншою кількістю переглядів вручну.
- Команда та робочий процес. Операції можуть використовувати зображення та відеосигнали, які раніше було важко обробити.
Зверніть увагу на
- Права на зображення та згода можуть стати юридичними ризиками, якщо походження невідоме.
- Продуктивність моделі може відрізнятися залежно від освітлення, демографічних показників і середовища.
- Помилкові спрацьовування можуть залишитися непоміченими, якщо не відстежувати пороги довіри.
Наступні кроки
- Визначте критерії прийнятності для точності, відкликання та вартості помилок.
- Тестуйте з даними, які відповідають реальним умовам виробництва.
- Додайте перевірку людиною для прогнозів із низьким рівнем достовірності або високого впливу.
- Відстежуйте дрейф моделі та повторно перевіряйте після зміни камери або набору даних.
Продовжуйте досліджувати
Безплатний розсилок
Отримуйте щоденне зведення новин про ШІ
Три перевірені історії про ШІ щоробочого ранку, написані простою мовою. Безплатно назавжди, без реклами.
Один лист щотижня з понеділка по п'ятницю. Відписатися в один клік. Ми ніколи не продаємо та не передаємо вашу адресу.
Перевір себе
Take the Structure from Motion quiz
Миттєва зворотна связь на кожну відповідь та сертифікат із перевіреним ідентифікатором, яким можна поділитися, після проходження курсу.
Підтримайте безплатну освіту у сфері ШІ. AI Understanding — це некомерційна організація 501(c)(3) — без реклами, без платних стін, назавжди. Зробіть пожертву
Часті запитання
Що таке структура з руху?
Структура з руху (SfM) реконструює геометрію 3D-сцени та положення камери з набору двовимірних фотографій, що перекриваються, зроблених з різних точок огляду. Це основа 3D-картографії, фотограмметрії та сучасних трубопроводів реконструкції.
Які дві речі оцінює структура з руху одночасно?
SfM спільно вирішує 3D-геометрію сцени та місце розташування кожної камери під час зйомки кожного зображення.
Яка роль зіставлення ознак у SfM?
Зіставлення виявлених функцій (наприклад, ключових точок SIFT) на фотографіях дає відповідності, необхідні для визначення геометрії.
Що оптимізує коригування комплекту?
Коригування групи — це глобальне нелінійне уточнення за методом найменших квадратів, що мінімізує піксельний розрив між спостережуваними та прогнозованими точками.
Який тип 3D-виходу зазвичай створює безпосередньо SfM?
SfM дає розріджений набір тріангульованих точок і положень камери; більш щільні методи потрібні для повних поверхонь.
Яке геометричне поняття пов’язує відповідні точки між двома видами камери?
Епіполярна геометрія обмежує, де точка, яку видно на одному зображенні, може з’явитися на іншому, що дозволяє оцінити позу.
Продовжуйте вчитися
Пов'язані посібники
Інші посібники, вибрані для цієї теми