Pola promieniowania neuronowego
Neural Radiance Fields (NeRF) rekonstruują pełną scenę 3D z kilku zwykłych zdjęć, pozwalając kamerze przenieść się do zupełnie nowych punktów widzenia.
Przegląd
It reframed 3D capture as training a tiny neural network rather than building a mesh.
Głębokie nurkowanie
Wprowadzony w 2020 roku przez Mildenhalla i współpracowników, NeRF przechowuje całą scenę w małej sieci neuronowej (perceptronie wielowarstwowym). Biorąc pod uwagę punkt 3D i kierunek patrzenia, sieć podaje kolor tego punktu i jego przezroczystość. Aby wyrenderować piksel, NeRF wystrzeliwuje promień w scenę, próbkuje wzdłuż niego punkty, wysyła zapytania do sieci i łączy wyniki za pomocą renderowania objętościowego. Ponieważ cały ten proces jest różniczkowy, sieć jest szkolona poprzez porównywanie wyrenderowanych pikseli z rzeczywistymi zdjęciami wejściowymi i dostosowywanie ich do momentu dopasowania. Efektem jest uderzający fotorealizm, w tym efekty zależne od widoku, takie jak odbicia i błyszczące światła, które zmieniają się w miarę ruchu. Wadą jest to, że każda scena wymaga własnego przebiegu szkoleniowego, a pierwotna metoda była powolna zarówno w uczeniu, jak i renderowaniu.
Wgląd techniczny
NeRF reprezentuje scenę jako ciągłą funkcję 5D: wprowadź pozycję (x, y, z) oraz kierunek oglądania (dwa kąty), a MLP zwróci kolor RGB i gęstość głośności. Kluczowym szczegółem jest kodowanie pozycyjne, które odwzorowuje współrzędne za pomocą funkcji sinus i cosinus o wysokiej częstotliwości, dzięki czemu sieć może uchwycić ostre szczegóły zamiast generować rozmazany obraz. Renderowanie integruje kolor i gęstość wzdłuż każdego promienia kamery, ważąc bliższe, bardziej nieprzezroczyste próbki w większym stopniu, dokładnie tak, jak w przypadku klasycznego renderowania objętościowego, które można wytrenować.
Wpływ strategiczny
Szybkość i skala
Wizualna sztuczna inteligencja może automatyzować zadania inspekcji, wykrywania i znakowania na dużą skalę.
Buduj wybory
Zespoły kreatywne mogą szybciej prototypować koncepcje przy mniejszej liczbie ręcznych poprawek.
Zespół i przepływ pracy
Operacje mogą wykorzystywać sygnały obrazu i wideo, które wcześniej były trudne do przetworzenia.
Przyszłość pól promieniowania neuronowego
Badania nad NeRF eksplodowały po 2020 r., a ich kontynuacją były szkolenia polegające na skróceniu czasu pracy Instant-NGP z godzin do sekund przy użyciu kodowania w formie siatki mieszającej oraz Mip-NeRF poprawiający jakość w różnych skalach. Pole to w coraz większym stopniu łączy się z rozpryskami gaussowskimi lub jest dla nich wyzwaniem, co powoduje szybsze renderowanie. Spodziewaj się technik opartych na NeRF w zakresie mapowania, widoków produktów w handlu elektronicznym, filmowych efektów wizualnych i AR/VR, a także rozwoju dynamicznych NeRF, które obsługują ruchome sceny i ujęcia „w dziczy” ze zmieniającym się oświetleniem. Najważniejszymi tematami są szybkość, możliwość edycji i przechwytywanie scen z mniejszej liczby bardziej niechlujnych zdjęć.
Implementacja w świecie rzeczywistym
Przekształcanie wideo obiektu w telefon w widok 3D, który możesz orbitować podczas zakupów online
Rekonstrukcja rzeczywistych lokalizacji jako fotorealistycznego tła dla filmów i efektów wizualnych
Tworzenie wciągających scen 3D dla doświadczeń rzeczywistości wirtualnej i rozszerzonej
Cyfrowa ochrona obiektów dziedzictwa kulturowego i artefaktów z planów zdjęciowych
Zagrożenia i poręcze
Prawa do wizerunku i zgoda mogą stanowić ryzyko prawne, jeśli pochodzenie jest niejasne.
Wydajność modelu może się różnić w zależności od oświetlenia, demografii i środowiska.
Fałszywie pozytywne wyniki mogą pozostać niezauważone, chyba że monitorowane są progi ufności.
Plan wdrożenia
Zdefiniuj kryteria akceptacji dotyczące kosztów precyzji, wycofania i błędów.
Przetestuj na danych odpowiadających rzeczywistym warunkom produkcyjnym.
Dodaj weryfikację manualną, aby prognozy były mało pewne lub miały duży wpływ.
Śledź dryf modelu i przeprowadzaj ponowną weryfikację po zmianie kamery lub zbioru danych.
Odkrywaj dalej
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Neural Radiance Fields quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Następny poradnik
Pola promieniowania Mip-NeRF i antyaliasingu
Często zadawane pytania
What is Neural Radiance Fields?
Neural Radiance Fields (NeRF) rekonstruują pełną scenę 3D z kilku zwykłych zdjęć, pozwalając kamerze przenieść się do zupełnie nowych punktów widzenia. Przeformułował przechwytywanie 3D jako szkolenie małej sieci neuronowej, a nie budowanie siatki.
Jaki jest główny cel pola promieniowania neuronowego?
NeRF tworzy reprezentację 3D na podstawie zestawu obrazów, umożliwiając fotorealistyczne renderowanie z punktów widzenia, których nie ma na oryginalnych zdjęciach.
Co generuje sieć neuronowa NeRF dla danego wejścia?
Dla pozycji 3D i kierunku oglądania, MLP zwraca kolor i gęstość (nieprzezroczystość) w tym punkcie.
Jakie są dane wejściowe funkcji 5D NeRF?
NeRF pobiera lokalizację 3D (x, y, z) i kierunek patrzenia (dwa kąty), co daje w sumie pięć danych wejściowych.
W jaki sposób NeRF przekształca dane wyjściowe sieci w ostateczny kolor piksela?
NeRF próbkuje punkty wzdłuż każdego promienia i integruje ich kolor ważony gęstością, co stanowi różniczkowalne klasyczne równanie renderowania objętości.
Dlaczego NeRF wykorzystuje kodowanie pozycyjne na współrzędnych wejściowych?
Mapowanie współrzędnych za pomocą funkcji sinus/cosinus o wysokiej częstotliwości umożliwia MLP reprezentowanie drobnych szczegółów zamiast rozmytych wyników.