NastępnyNastępny poradnik
Kodowanie par bajtów
Językowa sztuczna inteligencja
PRZEWODNIK Wizualnej AI
Natychmiastowe kodowanie skrótu NGP
Instant-NGP to technika firmy NVIDIA, która uczy neuronowych pól promieniowania i innych prymitywów grafiki neuronowej w ciągu kilku sekund, a nie godzin, poprzez przechowywanie możliwych do nauczenia się funkcji w tablicy mieszającej o wielu rozdzielczościach.
Posłuchaj tego przewodnikaOpowiadane przez sztuczną inteligencję · ~2 min
Na tej stronie2 minuty czytania
Przegląd
Ma to znaczenie, ponieważ umożliwia rejestrowanie wysokiej jakości scen 3D na tyle szybko, że można uzyskać wrażenie niemal interaktywnego.
Głębokie nurkowanie
Instant Neural Graphics Primitives (NVIDIA, 2022) atakuje główne wąskie gardło NeRF: duży MLP, który musi być sprawdzany miliony razy. Zamiast kodować pozycję 3D ze stałymi cechami sinusoidalnymi i polegać na dużej sieci, Instant-NGP wykorzystuje kodowanie skrótu o wielu rozdzielczościach. Przestrzeń pokrywa kilka siatek w różnych rozdzielczościach; każda komórka siatki jest mapowana za pomocą przestrzennej funkcji mieszającej do zwartej tabeli możliwych do nauczenia się wektorów cech. Aby zakodować punkt, system wyszukuje i trójliniowo interpoluje cechy z każdego poziomu rozdzielczości, łączy je i wprowadza do małego MLP. Ponieważ większość wyuczonej reprezentacji znajduje się w tabelach przeglądowych i pozostaje tylko niewielka sieć, szkolenie i renderowanie przebiegają o rząd wielkości szybciej, często zamieniając godziny w sekundy.
Implementacja w świecie rzeczywistym
Przechwytywanie prawdziwego obiektu lub pomieszczenia w NeRF w ciągu kilku sekund na podstawie zestawu zdjęć wykonanych telefonem
Dopasowanie funkcji odległości ze znakiem neuronowym w celu szybkiej reprezentacji kształtu 3D
Kompresja i reprezentacja gigapikselowego obrazu w postaci ciągłego pola neuronowego
Umożliwia szybką rekonstrukcję scen w zestawach narzędzi badawczych i wstępną wizualizację efektów wizualnych
Przyszłość natychmiastowego kodowania skrótu NGP
Kodowanie w formie siatki mieszającej stało się domyślnym elementem konstrukcyjnym znacznie wykraczającym poza oryginalne demo NeRF i używanym w syntezie widoku w czasie rzeczywistym, dopasowywaniu obrazów SDF i gigapikseli, symulacjach oraz jako szkielet zestawów narzędzi takich jak Nerfstudio. Podczas gdy Gaussian Splatting konkuruje teraz pod względem surowej szybkości renderowania, kodowanie skrótu pozostaje centralnym miejscem, gdzie potrzebne są zwarte, gładkie i dające się sprawdzać pola neuronowe, a trwające prace łączą te dwa elementy i zmierzają w kierunku większych, dynamicznych i możliwych do strumieniowego przesyłania scen.
Wdrażanie tego w praktykę
Dlaczego to ma znaczenie
- Szybkość i skala. Wizualna sztuczna inteligencja może automatyzować zadania inspekcji, wykrywania i znakowania na dużą skalę.
- Buduj wybory. Zespoły kreatywne mogą szybciej prototypować koncepcje przy mniejszej liczbie ręcznych poprawek.
- Zespół i przepływ pracy. Operacje mogą wykorzystywać sygnały obrazu i wideo, które wcześniej były trudne do przetworzenia.
Uważaj na
- Prawa do wizerunku i zgoda mogą stanowić ryzyko prawne, jeśli pochodzenie jest niejasne.
- Wydajność modelu może się różnić w zależności od oświetlenia, demografii i środowiska.
- Fałszywie pozytywne wyniki mogą pozostać niezauważone, chyba że monitorowane są progi ufności.
Kolejne kroki
- Zdefiniuj kryteria akceptacji dotyczące kosztów precyzji, wycofania i błędów.
- Przetestuj na danych odpowiadających rzeczywistym warunkom produkcyjnym.
- Dodaj weryfikację manualną, aby prognozy były mało pewne lub miały duży wpływ.
- Śledź dryf modelu i przeprowadzaj ponowną weryfikację po zmianie kamery lub zbioru danych.
Odkrywaj dalej
Darmowy newsletter
Otrzymuj codzienne podsumowanie AI
Trzy zweryfikowane historie AI każdego poranka w dni robocze, napisane prostym angielskim. Bezpłatne na zawsze, bez reklam.
Jedno e‑mail każdego dnia roboczego. Wypisz się jednym kliknięciem. Nigdy nie sprzedajemy ani nie udostępniamy Twojego adresu.
Sprawdź się
Take the Instant-NGP Hash Encoding quiz
Natychmiastowa informacja zwrotna na każde pytanie oraz udostępnialny certyfikat z weryfikowalnym ID po zaliczeniu kursu.
Wspieraj darmową edukację AI. AI Understanding jest organizacją non-profit 501(c)(3) — bez reklam, bez płatnej ściany, zawsze. Przekaż darowiznę
Często zadawane pytania
Co to jest kodowanie skrótu Instant-NGP?
Instant-NGP to technika firmy NVIDIA, która uczy neuronowych pól promieniowania i innych prymitywów grafiki neuronowej w ciągu kilku sekund, a nie godzin, poprzez przechowywanie możliwych do nauczenia się funkcji w tablicy mieszającej o wielu rozdzielczościach. Ma to znaczenie, ponieważ umożliwia rejestrowanie wysokiej jakości scen 3D na tyle szybko, że można uzyskać wrażenie niemal interaktywnego.
Jakie jest główne wąskie gardło w klasycznych NeRF, których celem jest Instant-NGP?
Klasyczne NeRF opierają się na dużym MLP, do którego odpytywane są niezwykle często; Instant-NGP zmniejsza prędkość uczenia i renderowania.
Gdzie Instant-NGP przechowuje większość swoich parametrów, których można się nauczyć?
Funkcje, których można się nauczyć, znajdują się w tabelach skrótów o wielu rozdzielczościach, pozostawiając jedynie niewielki MLP do łączenia wyszukanych funkcji.
W jaki sposób funkcje są łączone na wielu poziomach rozdzielczości?
Funkcje każdego poziomu są interpolowane trójliniowo i łączone przed przekazaniem do małego MLP.
W jaki sposób Instant-NGP radzi sobie z kolizjami skrótów w tabelach o wysokiej rozdzielczości?
Kolizje są dozwolone; regiony o dużej gęstości wytwarzają silniejsze gradienty, więc małe MLP i optymalizacja uczą się rozwiązywać wspólne szczeliny.
W przybliżeniu, w jakim stopniu Instant-NGP przyspiesza trening NeRF?
Przenosząc reprezentację do tabel skrótów i zmniejszając MLP, szkolenie, które trwało godzinami, może zakończyć się w ciągu kilku sekund.
Ucz się dalej
Powiązane przewodniki
Wybrano więcej przewodników na ten temat