Пленокселі та воксельні поля випромінювання
Plenoxels показали, що ви можете реконструювати 3D-сцену з результатами якості NeRF без будь-якої нейронної мережі — лише сітка вокселів, що зберігає колір і щільність.
Огляд
The result trains roughly 100x faster than the original NeRF while matching its visual quality.
Глибоке занурення
NeRF досягає фотореалізму, але працює повільно, оскільки кожен зразок вимагає прямого проходу через глибоку нейронну мережу, а навчання може тривати години або дні. Plenoxels (Sara Fridovich-Keil, Alex Yu et al., 2022) поставили провокаційне запитання: чи потрібна мережа? Їхня відповідь була ні. Вони представляють сцену як розріджену тривимірну воксельну сітку. Кожен зайнятий воксель зберігає одне значення непрозорості плюс сферичні гармонічні коефіцієнти, які кодують залежний від перегляду колір. Щоб відобразити піксель, система трилінійно інтерполює ці значення вздовж променя та об’єднує їх зі стандартним об’ємним відтворенням. Оскільки мережі немає, все це оптимізовано безпосередньо за допомогою градієнтного спуску значень вокселів, регуляризованих для плавності. Головний результат: якість, порівнянна з NeRF, навчання за лічені хвилини на одному GPU.
Технічне розуміння
Колір, що залежить від перегляду, — це розумна частина. Замість того, щоб мережа виводила RGB для кожного кута огляду, кожен воксель зберігає невеликий набір коефіцієнтів сферичної гармоніки (SH) на колірний канал. Оцінка базису SH у напрямку променя реконструює, як колір цієї точки змінюється залежно від точки огляду — фіксуючи дзеркальні відблиски та відблиски. Непрозорість не залежить від напрямку. Диференційована трилінійна інтерполяція та рендеринг обсягу роблять кожне значення вокселя придатним для безпосереднього навчання, тому оптимізація є простою підгонкою за методом найменших квадратів без мережі.
Стратегічний вплив
Швидкість і масштаб
Візуальний штучний інтелект може автоматизувати масштабні завдання перевірки, виявлення та позначення тегами.
Створіть вибір
Творчі групи можуть створювати прототипи концепцій швидше з меншою кількістю переглядів вручну.
Команда та робочий процес
Операції можуть використовувати зображення та відеосигнали, які раніше було важко обробити.
Майбутнє пленокселів і воксельних полів випромінювання
Plenoxels довів, що репрезентація, а не нейронна мережа, визначає якість NeRF — відкриття, яке змінило поле. Це напряму надихнуло явні та гібридні методи, такі як хеш-сітки Instant-NGP і, зрештою, 3D Gaussian Splatting, який зараз домінує у відтворенні світла в реальному часі. Очікуйте продовження руху до чітких, зручних для графічного процесора примітивів, які навчаються за лічені секунди та візуалізуються в реальному часі, з нейронними мережами, які використовуються вибірково, а не як основний накопичувач сцени.
Реалізація в реальному світі
Швидка реконструкція знятого об’єкта в 3D-ресурс за лічені хвилини для електронної комерції чи оцифрування музею замість того, щоб чекати годинами.
Швидке створення прототипів синтезу нових поглядів на одному споживачеві GPU для досліджень і навчання.
Створення чітких воксельних сцен, які можна редагувати, які художники можуть безпосередньо перевіряти та обрізати, на відміну від непрозорих мережевих ваг.
Служить навчальним прикладом того, що представлення сцени, а не глибоке навчання, є тим, що дає фотореалістичні результати.
Ризики та огорожі
Права на зображення та згода можуть стати юридичними ризиками, якщо походження невідоме.
Продуктивність моделі може відрізнятися залежно від освітлення, демографічних показників і середовища.
Помилкові спрацьовування можуть залишитися непоміченими, якщо не відстежувати пороги довіри.
Дорожня карта впровадження
Визначте критерії прийнятності для точності, відкликання та вартості помилок.
Тестуйте з даними, які відповідають реальним умовам виробництва.
Додайте перевірку людиною для прогнозів із низьким рівнем достовірності або високого впливу.
Відстежуйте дрейф моделі та повторно перевіряйте після зміни камери або набору даних.
Продовжуйте досліджувати
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Plenoxels and Voxel Radiance Fields quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Наступний посібник
Нейронні поля випромінювання
Часті запитання
What is Plenoxels and Voxel Radiance Fields?
Plenoxels показали, що ви можете реконструювати 3D-сцену з результатами якості NeRF без будь-якої нейронної мережі — лише сітка вокселів, що зберігає колір і щільність. Результат тренується приблизно в 100 разів швидше, ніж оригінальний NeRF, але відповідає його візуальній якості.
Який вибір дизайну Plenoxels найбільш дивовижний у порівнянні з NeRF?
Plenoxels зберігає сцену безпосередньо у воксельній сітці та оптимізує ці значення без нейронної мережі в конвеєрі.
Що зберігає кожен зайнятий воксель у Plenoxels для захоплення залежного від виду кольору?
Кожен воксель містить непрозорість плюс коефіцієнти сферичних гармоній на колірний канал, які кодують зміну кольору залежно від напрямку перегляду.
Приблизно наскільки швидше тренувалися Plenoxels порівняно з оригінальним NeRF?
Завдяки виключенню мережевих проходів для кожного зразка Plenoxels тренувалися приблизно в 100 разів швидше, завершуючи за лічені хвилини.
Як значення витягуються з воксельної сітки вздовж променя?
Plenoxels використовує диференційовану трилінійну інтерполяцію для плавного зчитування кольору та непрозорості між центрами вокселів.
Який більш широкий висновок Plenoxels продемонстрував на полі?
Порівнюючи якість NeRF із відсутністю мережі, Plenoxels показали, що за результати відповідають репрезентація та оптимізація, а не MLP.