Görsel Yapay Zeka KILAVUZU

Hareketten Yapı

Hareketten Yapı (SfM), farklı bakış açılarından çekilen bir dizi üst üste binen 2B fotoğraftan 3B sahne geometrisini ve kamera konumlarını yeniden oluşturur.

2 min readSon güncelleme

Genel Bakış

It is the backbone of 3D mapping, photogrammetry, and modern reconstruction pipelines.

Derin Dalış

SfM iki bilinmeyeni aynı anda çözüyor: her kameranın fotoğraf çekerken nerede olduğu ve dünyadaki 3 boyutlu noktaların nerede olduğu. Her görüntüdeki ayırt edici özellik noktalarını tespit ederek (SIFT gibi dedektörler kullanarak) başlıyor ve ardından aynı fiziksel noktayı birden fazla fotoğrafta eşleştiriyor. Sistem, bu yazışmaları ve 3 boyutlu noktaların 2 boyutlu görüntülere nasıl yansıdığının geometrisini kullanarak, epipolar geometri yoluyla ilgili kamera pozlarını tahmin eder. Noktalar, seyrek bir 3D bulut halinde üçgenleştirilir ve paket ayarlaması adı verilen genel bir optimizasyon, yeniden projeksiyon hatasını en aza indirmek için tüm kameraları ve noktaları bir araya getirir. Sonuç, seyrek bir nokta bulutu artı kalibre edilmiş kamera konumlarıdır; bu, daha yoğun yeniden yapılandırma yöntemlerinin üzerine inşa edildiği temel yapı iskelesidir.

Teknik Bilgi

SfM'nin matematiksel temeli, paket ayarlamasıdır: her kameranın pozunu, esasını ve her 3B noktasını eşzamanlı olarak ayarlayan, projeksiyonlarının gözlemlenen 2B özellik konumlarına en iyi şekilde uymasını sağlayan büyük, doğrusal olmayan en küçük kareler optimizasyonu. Genellikle Levenberg-Marquardt aracılığıyla 'yeniden projeksiyon hatasını' (bir noktanın görüntüde düştüğü yer ile mevcut 3D tahminin inmesi gerektiğini söylediği yer arasındaki piksel mesafesi) en aza indirir.

Stratejik Etki

Speed and scale

Visual AI, inceleme, algılama ve etiketleme görevlerini geniş ölçekte otomatikleştirebilir.

Build choices

Yaratıcı ekipler, daha az manuel revizyonla konseptleri daha hızlı prototipleyebilir.

Ekip ve iş akışı

Operasyonlar, daha önce işlenmesi zor olan görüntü ve video sinyallerini kullanabilir.

Hareketten Yapının Geleceği

SfM, derin öğrenmeyle giderek daha fazla birleşiyor: öğrenilmiş özellik algılayıcıları ve eşleştiriciler (SuperPoint ve SuperGlue gibi), klasik SIFT'in zorlandığı dokusuz veya tekrarlanan sahneleri yönetiyor. Ayrıca SfM'nin sağladığı kamera pozlarına ihtiyaç duyan NeRF ve Gaussian Splatting gibi sinirsel sahne temsillerini de besliyor. Daha hızlı, daha sağlam uçtan uca işlem hatları, AR için telefonlarda gerçek zamanlı SfM ve robotik ve otonom navigasyonda canlı haritalama için SLAM ile daha sıkı bağlantı bekleyin.

Gerçek Dünya Uygulaması

Havadan fotoğraf setlerini 3 boyutlu araziye dönüştüren ve araştırma amaçlı modeller oluşturan drone fotogrametrisi

NeRF ve Gaussian Splatting sahne rekonstrüksiyonlarını önyüklemek için kamera pozlarını kurtarma

Kültürel miras alanlarını ve heykelleri turist fotoğraf koleksiyonlarından 3 boyutlu modeller olarak dijital olarak koruyoruz

Adli analiz için araştırmacıların fotoğraflarından suç veya kaza sahnelerinin 3 boyutlu olarak yeniden oluşturulması

Riskler ve Korkuluklar

Kaynağın belirsiz olması durumunda görüntü hakları ve rıza yasal risk haline gelebilir.

Model performansı aydınlatma, demografik özellikler ve ortamlara göre değişiklik gösterebilir.

Güven eşikleri izlenmediği sürece yanlış pozitifler fark edilmeyebilir.

Uygulama Yol Haritası

1

Kesinlik, geri çağırma ve hata maliyetlerine ilişkin kabul kriterlerini tanımlayın.

2

Gerçek üretim koşullarıyla eşleşen verilerle test edin.

3

Düşük güvenirliğe sahip veya yüksek etkili tahminler için gerçek kişi tarafından yapılan incelemeyi ekleyin.

4

Model kaymasını izleyin ve kamera veya veri kümesi değişikliklerinden sonra yeniden doğrulayın.

Keşfetmeye Devam Edin

Free newsletter

Get the daily AI briefing

Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.

One email each weekday. Unsubscribe in one click. We never sell or share your address.

Test yourself

Take the Structure from Motion quiz

Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.

Testi başlat

Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation

Next guide

AnimateDiff Hareket Oluşturma

Sık sorulan sorular

What is Structure from Motion?

Hareketten Yapı (SfM), farklı bakış açılarından çekilen bir dizi üst üste binen 2B fotoğraftan 3B sahne geometrisini ve kamera konumlarını yeniden oluşturur. 3 boyutlu haritalamanın, fotogrametrinin ve modern yeniden yapılanma boru hatlarının omurgasıdır.

Hareketten Yapı hangi iki şeyi aynı anda tahmin ediyor?

SfM, sahnenin 3 boyutlu geometrisini ve her kameranın her görüntüyü yakaladığı sırada nerede olduğunu ortaklaşa çözer.

SfM'de özellik eşleştirmenin rolü nedir?

Algılanan özelliklerin (örneğin, SIFT anahtar noktaları) fotoğraflar arasında eşleştirilmesi, geometri çıkarımı için gereken yazışmaları sağlar.

Paket ayarlaması neyi optimize eder?

Paket ayarlaması, gözlemlenen ve öngörülen noktalar arasındaki piksel boşluğunu en aza indiren küresel, doğrusal olmayan en küçük kareler iyileştirmesidir.

SfM genellikle doğrudan ne tür 3D çıktı üretir?

SfM, seyrek bir dizi üçgenlenmiş nokta ve kamera konumu sağlar; tam yüzeyler için daha yoğun yöntemlere ihtiyaç vardır.

İki kamera görüntüsü arasındaki karşılık gelen noktaları ilişkilendiren geometrik kavram hangisidir?

Epipolar geometri, bir görüntüde görülen bir noktanın diğerinde görünebileceği yeri kısıtlayarak poz tahminine olanak tanır.