Gauss Sıçraması
Gauss Splatting, gerçek zamanlı olarak oluşturulabilen milyonlarca küçük, renkli, yarı şeffaf lekeler olarak 3 boyutlu bir sahneyi temsil eder.
Genel Bakış
It delivers NeRF-like photorealism while running fast enough for interactive viewing.
Derin Dalış
SIGGRAPH 2023'te tanıtılan 3D Gaussian Splatting, NeRF gibi fotoğraflardan sahneleri yeniden oluşturuyor ancak gizli bir sinir ağı yerine açık bir temsil kullanıyor. Her sahne, 3 boyutlu Gaussian'lardan, bulanık elipsoidal lekelerden oluşan bir buluttur ve her damla, bir konumu, boyutu ve yönelimi (kovaryansı), opaklığı ve rengi depolar. Yöntem, ışınları bir ağ üzerinden yavaşça göndermek yerine, bu damlaları doğrudan ekrana "sıçratır" ve bunları harmanlar; bu, geleneksel rasterleştirmeye daha yakın ve dolayısıyla çok hızlı bir işlemdir. Eğitim, kamera kalibrasyonu tarafından üretilen seyrek bir nokta bulutuyla başlar, ardından sahnenin yeterince yeniden yapılandırılmadığı yerlerde uyarlanabilir bir şekilde ayrıntı eklerken ve aşırı kalabalık olduğu yerlerde budama yaparken blobları optimize eder. Sonuç, en iyi NeRF'lere rakip olacak kalitede 1080p'de gerçek zamanlı görüntü oluşturmadır; bu nedenle grafikler ve yakalama araçları aracılığıyla hızla yayıldı.
Teknik Bilgi
Anahtar, farklılaştırılabilir döşeme tabanlı bir rasterleştiricidir. 3D Gaussian'lar 2D'ye yansıtılır, derinliğe göre sıralanır ve ekran döşemesi başına alfa harmanlanır; böylece işleme, NeRF'yi yavaşlatan piksel başına ışın ilerlemesini önler. Renk, küresel harmoniklerle depolanır ve yansımaları yakalamak için her bir damlanın görüş açısına göre görünümünü değiştirmesine olanak tanır. Tüm ardışık düzen farklılaştırılabilir olduğundan, NeRF tarafından kullanılan aynı fotoğraf eşleştirme gradyan inişi, blob konumlarını, şekilleri, opaklıkları ve renkleri optimize ederken, bir yoğunlaştırma adımı eksik ayrıntıları eklemek için Gaussian'ları büyütür veya böler.
Stratejik Etki
Speed and scale
Visual AI, inceleme, algılama ve etiketleme görevlerini geniş ölçekte otomatikleştirebilir.
Build choices
Yaratıcı ekipler, daha az manuel revizyonla konseptleri daha hızlı prototipleyebilir.
Ekip ve iş akışı
Operasyonlar, daha önce işlenmesi zor olan görüntü ve video sinyallerini kullanabilir.
Gauss Splatting'in Geleceği
Gaussian Splatting, araştırmadan 3D yakalama, haritalama ve sanal üretime yönelik ürünlere hızla geçiş yapıyor; bunun nedeni kısmen tüketici GPU'larında ve hatta tarayıcılarda gerçek zamanlı olarak görüntülenmesi. Aktif çalışma, dosya boyutlarını küçültmeyi (sahneler büyük olabilir), dinamik ve animasyonlu sahneleri yönetmeyi, nesneleri yeniden aydınlatmayı ve düzenlemeyi hedefler. Oyun motorları ve AR/VR ile daha sıkı entegrasyon, uyarıları ağlarla birleştiren ve telefondan video çeken hibrit yöntemler bekleyebilirsiniz. Etkileşimli hızın önemli olduğu her yerde giderek NeRF'nin pratik bir tamamlayıcısı veya onun yerine geçecek bir araç olarak görülüyor.
Gerçek Dünya Uygulaması
Web için odaların veya ürünlerin gerçek zamanlı, keşfedilebilir 3 boyutlu görüntülerini oluşturma
Fotogerçekçi, gezinilebilir setlerle sanal prodüksiyon ve film ön görselleştirmesi
Bir telefondan veya drone videosundan nesnelerin ve ortamların hızlı 3D taranması
Tüketici donanımında sorunsuz çalışan etkileşimli AR/VR sahneleri oluşturma
Riskler ve Korkuluklar
Kaynağın belirsiz olması durumunda görüntü hakları ve rıza yasal risk haline gelebilir.
Model performansı aydınlatma, demografik özellikler ve ortamlara göre değişiklik gösterebilir.
Güven eşikleri izlenmediği sürece yanlış pozitifler fark edilmeyebilir.
Uygulama Yol Haritası
Kesinlik, geri çağırma ve hata maliyetlerine ilişkin kabul kriterlerini tanımlayın.
Gerçek üretim koşullarıyla eşleşen verilerle test edin.
Düşük güvenirliğe sahip veya yüksek etkili tahminler için gerçek kişi tarafından yapılan incelemeyi ekleyin.
Model kaymasını izleyin ve kamera veya veri kümesi değişikliklerinden sonra yeniden doğrulayın.
Keşfetmeye Devam Edin
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Gaussian Splatting quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Gauss Süreçleri
Sık sorulan sorular
What is Gaussian Splatting?
Gauss Splatting, gerçek zamanlı olarak oluşturulabilen milyonlarca küçük, renkli, yarı şeffaf lekeler olarak 3 boyutlu bir sahneyi temsil eder. Etkileşimli görüntüleme için yeterince hızlı çalışırken NeRF benzeri fotogerçekçilik sunar.
Gauss Splatting 3 boyutlu bir sahneyi nasıl temsil eder?
Sahne, her biri konumu, şekli, opaklığı ve rengi olan bulanık bir elipsoid olan 3 boyutlu Gaussianlardan oluşan açık bir buluttur.
Gaussian Splatting'in oluşturulması neden orijinal NeRF'den çok daha hızlı?
Blobların döşeme tabanlı rasterleştirme yoluyla yansıtılması ve harmanlanması, NeRF'nin piksel başına ışın ilerlemesinin yavaş olmasını önleyerek gerçek zamanlı hızlara olanak tanır.
Her 3D Gaussian hangi bilgileri saklıyor?
Her blob bir konum, bir kovaryans (boyut ve yön), bir opaklık ve renk bilgisi taşır.
Bir blobun renginin görüş açısına göre değişmesine izin vermek için ne kullanılır?
Renk küresel harmoniklerle kodlanmıştır, böylece her Gauss farklı yönlerden farklı görünebilir ve yansımaları yakalayabilir.
Gauss Splatting'de eğitim genellikle nasıl başlar?
Hareketli kamera kalibrasyonundan gelen seyrek noktalarla başlar, ardından Gaussian'ları buradan optimize eder.