ДаліНаступний посібник
Кодування пари байтів
ШІ мови
Візуальний AI GUIDE
Хеш-кодування Instant-NGP
Instant-NGP — це техніка NVIDIA, яка тренує поля нейронного випромінювання та інші примітиви нейронної графіки за секунди замість годин, зберігаючи функції, які можна вивчати, у хеш-таблиці з різною роздільною здатністю.
Послухайте цей посібникШІ-розказаний · ~2 min
На цій сторінці2 хвилини читання
Огляд
Це має значення, тому що він зробив високоякісну зйомку 3D-сцени достатньо швидкою, щоб відчути себе майже інтерактивною.
Глибоке занурення
Instant Neural Graphics Primitives (NVIDIA, 2022) атакує основне вузьке місце NeRF: великий MLP, який потрібно запитувати мільйони разів. Замість кодування 3D-положення з фіксованими синусоїдальними характеристиками та покладатися на велику мережу Instant-NGP використовує хеш-кодування з різною роздільною здатністю. Простір покритий кількома сітками з різною роздільною здатністю; кожна комірка сітки відображається за допомогою просторової хеш-функції в компактну таблицю векторів ознак, які можна вивчати. Щоб закодувати точку, система шукає та трилінійно інтерполює функції з кожного рівня роздільної здатності, об’єднує їх і передає в крихітний MLP. Оскільки більша частина вивченого представлення знаходиться в таблицях пошуку і залишається лише невелика мережа, навчання та рендеринг стають на порядки швидшими, часто перетворюючи години на секунди.
Реалізація в реальному світі
Захоплення реального об'єкта або кімнати в NeRF за лічені секунди з набору фотографій телефону
Підгонка функції відстані з нейронним знаком для швидкого тривимірного представлення форми
Стиснення та представлення гігапіксельного зображення як безперервного нейронного поля
Швидка реконструкція сцени в інструментах дослідження та попередня візуалізація VFX
Майбутнє хеш-кодування Instant-NGP
Кодування хеш-сітки стало будівельним блоком за замовчуванням, що значно перевищує оригінальну демонстрацію NeRF, використовується в синтезі перегляду в реальному часі, підгонці SDF і гігапіксельних зображень, моделюванні та як основа таких наборів інструментів, як Nerfstudio. У той час як Gaussian Splatting зараз конкурує за швидкістю необробленого рендерингу, хеш-кодування залишається центральним там, де потрібні компактні, плавні нейронні поля, які можна запитувати, і поточна робота поєднує ці два параметри та просуває до більших, динамічних і потокових сцен.
Застосування на практиці
Чому це важливо
- Швидкість і масштаб. Візуальний штучний інтелект може автоматизувати масштабні завдання перевірки, виявлення та позначення тегами.
- Створіть вибір. Творчі групи можуть створювати прототипи концепцій швидше з меншою кількістю переглядів вручну.
- Команда та робочий процес. Операції можуть використовувати зображення та відеосигнали, які раніше було важко обробити.
Зверніть увагу на
- Права на зображення та згода можуть стати юридичними ризиками, якщо походження невідоме.
- Продуктивність моделі може відрізнятися залежно від освітлення, демографічних показників і середовища.
- Помилкові спрацьовування можуть залишитися непоміченими, якщо не відстежувати пороги довіри.
Наступні кроки
- Визначте критерії прийнятності для точності, відкликання та вартості помилок.
- Тестуйте з даними, які відповідають реальним умовам виробництва.
- Додайте перевірку людиною для прогнозів із низьким рівнем достовірності або високого впливу.
- Відстежуйте дрейф моделі та повторно перевіряйте після зміни камери або набору даних.
Продовжуйте досліджувати
Безплатний розсилок
Отримуйте щоденне зведення новин про ШІ
Три перевірені історії про ШІ щоробочого ранку, написані простою мовою. Безплатно назавжди, без реклами.
Один лист щотижня з понеділка по п'ятницю. Відписатися в один клік. Ми ніколи не продаємо та не передаємо вашу адресу.
Перевір себе
Take the Instant-NGP Hash Encoding quiz
Миттєва зворотна связь на кожну відповідь та сертифікат із перевіреним ідентифікатором, яким можна поділитися, після проходження курсу.
Підтримайте безплатну освіту у сфері ШІ. AI Understanding — це некомерційна організація 501(c)(3) — без реклами, без платних стін, назавжди. Зробіть пожертву
Часті запитання
Що таке хеш-кодування Instant-NGP?
Instant-NGP — це техніка NVIDIA, яка тренує поля нейронного випромінювання та інші примітиви нейронної графіки за секунди замість годин, зберігаючи функції, які можна вивчати, у хеш-таблиці з різною роздільною здатністю. Це має значення, тому що він зробив високоякісне захоплення 3D-сцени досить швидким, щоб ви відчували себе майже інтерактивним.
Яке головне вузьке місце в класичних NeRF, на яке націлено Instant-NGP?
Класичні NeRF покладаються на великий MLP, який запитують надзвичайно часто; Instant-NGP зменшує, що працює для прискорення навчання та рендерингу.
Де Instant-NGP зберігає більшість своїх параметрів, які можна вивчати?
Функції, які можна вивчати, живуть у хеш-таблицях із різною роздільною здатністю, залишаючи лише крихітний MLP для об’єднання знайдених функцій.
Як поєднуються функції на кількох рівнях роздільної здатності?
Функції кожного рівня трилінійно інтерполюються та об’єднуються перед передачею в малий MLP.
Як Instant-NGP обробляє хеш-колізії у своїх таблицях високої роздільної здатності?
Зіткнення допускаються; регіони з високою щільністю створюють сильніші градієнти, тому малий MLP і оптимізація навчаються вирішувати спільні слоти.
Приблизно наскільки Instant-NGP прискорює навчання NeRF?
Перемістивши представлення в хеш-таблиці та зменшивши MLP, навчання, яке тривало годинами, можна завершити за секунди.
Продовжуйте вчитися
Пов'язані посібники
Інші посібники, вибрані для цієї теми