Rozpryskiwanie Gaussa
Gaussian Splatting przedstawia scenę 3D w postaci milionów małych, kolorowych, półprzezroczystych plam, które można renderować w czasie rzeczywistym.
Przegląd
It delivers NeRF-like photorealism while running fast enough for interactive viewing.
Głębokie nurkowanie
Zaprezentowana na SIGGRAPH 2023 metoda 3D Gaussian Splatting rekonstruuje sceny ze zdjęć takich jak NeRF, ale wykorzystuje wyraźną reprezentację zamiast ukrytej sieci neuronowej. Każda scena to chmura trójwymiarowych Gaussów, rozmytych elipsoidalnych plamek, a każda plamka przechowuje położenie, rozmiar i orientację (jej kowariancję), nieprzezroczystość i kolor. Zamiast powoli strzelać promieniami przez sieć, metoda ta „rozpryskuje” te plamy bezpośrednio na ekranie i łączy je, co jest procesem bliższym tradycyjnej rasteryzacji, a zatem bardzo szybkim. Uczenie rozpoczyna się od rzadkiej chmury punktów utworzonej w wyniku kalibracji kamery, a następnie optymalizuje plamy, adaptacyjnie dodając szczegóły tam, gdzie scena jest niedostatecznie zrekonstruowana, i przycinając tam, gdzie jest przepełniona. Rezultatem jest renderowanie w czasie rzeczywistym w rozdzielczości 1080p z jakością porównywalną z najlepszymi NeRF, dlatego też szybko rozpowszechniła się za pośrednictwem narzędzi graficznych i przechwytywania.
Wgląd techniczny
Kluczem jest różniczkowalny rasteryzator oparty na kafelkach. Gaussy 3D są rzutowane na 2D, sortowane według głębokości i mieszane alfa na kafelek ekranu, więc renderowanie pozwala uniknąć marszu promieni na piksel, który spowalnia NeRF. Kolor jest przechowywany w postaci sferycznych harmonicznych, dzięki czemu każda kropla zmienia wygląd w zależności od kąta patrzenia, aby uchwycić odbicia. Ponieważ cały rurociąg jest różniczkowalny, to samo dopasowujące się do zdjęć opadanie gradientu, stosowane przez NeRF, optymalizuje położenie plamek, kształty, nieprzezroczystość i kolory, podczas gdy etap zagęszczania zwiększa lub dzieli Gaussa, aby dodać brakujące szczegóły.
Wpływ strategiczny
Szybkość i skala
Wizualna sztuczna inteligencja może automatyzować zadania inspekcji, wykrywania i znakowania na dużą skalę.
Buduj wybory
Zespoły kreatywne mogą szybciej prototypować koncepcje przy mniejszej liczbie ręcznych poprawek.
Zespół i przepływ pracy
Operacje mogą wykorzystywać sygnały obrazu i wideo, które wcześniej były trudne do przetworzenia.
Przyszłość rozpryskiwania Gaussa
Gaussian Splatting szybko przechodzi od badań nad produktami do przechwytywania 3D, mapowania i produkcji wirtualnej, częściowo dlatego, że renderuje się w czasie rzeczywistym na konsumenckich procesorach graficznych, a nawet w przeglądarkach. Aktywna praca ma na celu zmniejszanie rozmiarów plików (sceny mogą być duże), obsługę scen dynamicznych i animowanych, ponowne oświetlenie i edycję poszczególnych obiektów. Spodziewaj się ściślejszej integracji z silnikami gier i AR/VR, metod hybrydowych łączących ikony z siatkami i przechwytywania wideo z telefonu. Jest coraz częściej postrzegany jako praktyczne uzupełnienie lub zamiennik NeRF wszędzie tam, gdzie liczy się szybkość interaktywna.
Implementacja w świecie rzeczywistym
Tworzenie w czasie rzeczywistym eksploracyjnych przechwytów 3D pomieszczeń lub produktów do wykorzystania w Internecie
Wirtualna produkcja i prewizualizacja filmu z fotorealistycznymi, łatwymi w nawigacji planami
Szybkie skanowanie 3D obiektów i środowisk z wideo z telefonu lub drona
Tworzenie interaktywnych scen AR/VR, które działają płynnie na sprzęcie konsumenckim
Zagrożenia i poręcze
Prawa do wizerunku i zgoda mogą stanowić ryzyko prawne, jeśli pochodzenie jest niejasne.
Wydajność modelu może się różnić w zależności od oświetlenia, demografii i środowiska.
Fałszywie pozytywne wyniki mogą pozostać niezauważone, chyba że monitorowane są progi ufności.
Plan wdrożenia
Zdefiniuj kryteria akceptacji dotyczące kosztów precyzji, wycofania i błędów.
Przetestuj na danych odpowiadających rzeczywistym warunkom produkcyjnym.
Dodaj weryfikację manualną, aby prognozy były mało pewne lub miały duży wpływ.
Śledź dryf modelu i przeprowadzaj ponowną weryfikację po zmianie kamery lub zbioru danych.
Odkrywaj dalej
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Gaussian Splatting quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Następny poradnik
Procesy Gaussa
Często zadawane pytania
What is Gaussian Splatting?
Gaussian Splatting przedstawia scenę 3D w postaci milionów małych, kolorowych, półprzezroczystych plam, które można renderować w czasie rzeczywistym. Zapewnia fotorealizm podobny do NeRF, a jednocześnie działa wystarczająco szybko, aby umożliwić interaktywne oglądanie.
W jaki sposób rozpryskiwanie gaussowskie reprezentuje scenę 3D?
Scena jest wyraźną chmurą trójwymiarowych Gaussów, z których każdy jest rozmytą elipsoidą z pozycją, kształtem, nieprzezroczystością i kolorem.
Dlaczego Gaussian Splatting jest znacznie szybszy do renderowania niż oryginalny NeRF?
Projektowanie i mieszanie plam za pomocą rasteryzacji opartej na kafelkach pozwala uniknąć powolnego marszu promieni na piksel NeRF, umożliwiając prędkości w czasie rzeczywistym.
Jakie informacje przechowuje każdy trójwymiarowy Gauss?
Każda kropla niesie ze sobą położenie, kowariancję (rozmiar i orientację), nieprzezroczystość i informację o kolorze.
Co służy do zmiany koloru plamki w zależności od kąta patrzenia?
Kolor jest kodowany za pomocą sferycznych harmonicznych, więc każdy Gauss może wyglądać inaczej z różnych kierunków, wychwytując odbicia.
Jak zwykle rozpoczyna się szkolenie w zakresie rozpryskiwania gaussowskiego?
Zaczyna się od rzadkich punktów pochodzących z kalibracji kamery na podstawie struktury z ruchu, a następnie na tej podstawie optymalizuje Gaussa.