À suivreGuide suivant
Génération de mouvement AnimateDiff
IA visuelle
GUIDE DE L'IA Visuelle
Structure à partir du mouvement
Structure from Motion (SfM) reconstruit la géométrie de la scène 3D et les positions de la caméra à partir d'un ensemble de photos 2D superposées prises depuis différents points de vue.
Écoutez ce guideNarré par l'IA · ~2 min
Sur cette page2 minutes de lecture
Aperçu
It is the backbone of 3D mapping, photogrammetry, and modern reconstruction pipelines.
Plongée profonde
SfM résout deux inconnues couplées à la fois : où se trouvait chaque appareil photo lorsqu'il a pris une photo et où se trouvent les points 3D dans le monde. Cela commence par détecter des points caractéristiques distinctifs (à l’aide de détecteurs comme SIFT) dans chaque image, puis par faire correspondre le même point physique sur plusieurs photos. En utilisant ces correspondances et la géométrie de la façon dont les points 3D se projettent sur des images 2D, le système estime les poses relatives de la caméra via la géométrie épipolaire. Les points sont triangulés dans un nuage 3D clairsemé, et une optimisation globale appelée ajustement du faisceau affine toutes les caméras et tous les points ensemble pour minimiser les erreurs de reprojection. Le résultat est un nuage de points clairsemé et des positions de caméra calibrées – l’échafaudage essentiel sur lequel s’appuient les méthodes de reconstruction plus denses.
Mise en œuvre dans le monde réel
Photogrammétrie par drone qui transforme des séries de photos aériennes en terrains 3D et en modèles de construction pour l'arpentage
Récupération des poses de caméra pour amorcer les reconstructions de scènes NeRF et Gaussian Splatting
Préserver numériquement les sites et les statues du patrimoine culturel sous forme de modèles 3D issus de collections de photos touristiques
Reconstitution de scènes de crime ou d'accident en 3D à partir de photographies des enquêteurs pour analyse médico-légale
L'avenir de la structure à partir du mouvement
SfM est de plus en plus fusionné avec l'apprentissage profond : les détecteurs et les comparateurs de fonctionnalités appris (comme SuperPoint et SuperGlue) gèrent des scènes sans texture ou répétitives avec lesquelles SIFT classique a du mal. Il alimente également des représentations de scènes neuronales telles que NeRF et Gaussian Splatting, qui nécessitent les poses de caméra fournies par SfM. Attendez-vous à des pipelines de bout en bout plus rapides et plus robustes, à un SfM en temps réel sur les téléphones pour la RA et à un couplage plus étroit avec SLAM pour la cartographie en direct dans la robotique et la navigation autonome.
Le mettre en pratique
Pourquoi c'est important
- Vitesse et échelle. L’IA visuelle peut automatiser les tâches d’inspection, de détection et de marquage à grande échelle.
- Choix de construction. Les équipes créatives peuvent prototyper des concepts plus rapidement avec moins de révisions manuelles.
- Équipe et flux de travail. Les opérations peuvent utiliser des signaux d’image et vidéo qui étaient auparavant difficiles à traiter.
Attention à
- Les droits à l’image et le consentement peuvent devenir des risques juridiques si la provenance n’est pas claire.
- Les performances du modèle peuvent varier en fonction de l'éclairage, des données démographiques et des environnements.
- Les faux positifs peuvent passer inaperçus si les seuils de confiance ne sont pas surveillés.
Prochaines étapes
- Définissez des critères d’acceptation pour la précision, le rappel et les coûts d’erreur.
- Testez avec des données qui correspondent aux conditions de production réelles.
- Ajoutez un examen humain pour les prédictions peu fiables ou à fort impact.
- Suivez la dérive du modèle et revalidez après les modifications de la caméra ou de l’ensemble de données.
Continuez à explorer
Newsletter gratuite
Recevez le briefing quotidien sur l'IA
Trois histoires d'IA vérifiées chaque matin de la semaine, écrites dans un anglais simple. Gratuit pour toujours, sans publicité.
Un e-mail chaque jour de la semaine. Désabonnez-vous en un clic. Nous ne vendons ni ne partageons jamais votre adresse.
Testez-vous
Take the Structure from Motion quiz
Commentaires instantanés sur chaque réponse et un certificat partageable avec une pièce d'identité vérifiable une fois que vous avez réussi un cours.
Soutenez l’enseignement gratuit de l’IA. AI Understanding est une organisation à but non lucratif 501(c)(3) : pas de publicité, pas de paywall, jamais. Faire un don
Questions fréquemment posées
What is Structure from Motion?
Structure from Motion (SfM) reconstruit la géométrie de la scène 3D et les positions de la caméra à partir d'un ensemble de photos 2D superposées prises depuis différents points de vue. C’est l’épine dorsale de la cartographie 3D, de la photogrammétrie et des pipelines de reconstruction modernes.
Quelles sont les deux choses que Structure from Motion estime simultanément ?
SfM résout conjointement la géométrie 3D de la scène et l'endroit où se trouvait chaque caméra lorsqu'elle a capturé chaque image.
Quel est le rôle de la correspondance des fonctionnalités dans SfM ?
La mise en correspondance des caractéristiques détectées (par exemple, les points clés SIFT) sur les photos donne les correspondances nécessaires pour déduire la géométrie.
Qu’est-ce que l’ajustement du bundle optimise ?
L'ajustement du faisceau est un raffinement global non linéaire par les moindres carrés minimisant l'écart de pixels entre les points observés et projetés.
Quel type de sortie 3D SfM produit-il généralement directement ?
SfM produit un ensemble clairsemé de points triangulés et de positions de caméra ; des méthodes plus denses sont nécessaires pour les surfaces complètes.
Quel concept géométrique relie les points correspondants entre deux vues de caméra ?
La géométrie épipolaire limite l'endroit où un point vu dans une image peut apparaître dans une autre, permettant ainsi l'estimation de la pose.
Continuez à apprendre
Guides associés
Plus de guides sélectionnés pour ce sujet