СледваСледващо ръководство
Кодиране на двойки байтове
Езиков AI
РЪКОВОДСТВО за визуален AI
Instant-NGP хеш кодиране
Instant-NGP е техниката на NVIDIA, която обучава невронни радиационни полета и други невронни графични примитиви за секунди вместо часове, като съхранява обучаеми функции в хеш таблица с множество разделителни способности.
Чуйте това ръководствоAI-разказан · ~2 min
На тази страница2 минути четене
Преглед
Има значение, защото направи висококачествено заснемане на 3D сцена достатъчно бързо, за да се почувства почти интерактивно.
Дълбоко гмуркане
Instant Neural Graphics Primitives (NVIDIA, 2022) атакува основното тясно място на NeRF: големият MLP, който трябва да бъде запитван милиони пъти. Вместо да кодира 3D позиция с фиксирани синусоидални характеристики и да разчита на голяма мрежа, Instant-NGP използва хеш кодиране с множество разделителни способности. Пространството е покрито от няколко решетки с различни разделителни способности; всяка клетка от мрежата се преобразува, чрез пространствена хеш функция, в компактна таблица с обучаеми вектори на характеристики. За да кодира точка, системата търси и трилинейно интерполира характеристики от всяко ниво на разделителна способност, свързва ги и ги подава в малък MLP. Тъй като по-голямата част от наученото представяне живее в справочните таблици и остава само малка мрежа, обучението и изобразяването стават порядъци по-бързи, често превръщайки часовете в секунди.
Внедряване в реалния свят
Заснемане на реален обект или стая в NeRF за секунди от набор от телефонни снимки
Поставяне на функция за разстояние с невронен знак за бързо представяне на 3D форма
Компресиране и представяне на гигапикселово изображение като непрекъснато невронно поле
Осигуряване на бърза реконструкция на сцена в инструментите за изследване и предварителна визуализация на VFX
Бъдещето на Instant-NGP хеш кодирането
Хеш-мрежовото кодиране се превърна в градивен елемент по подразбиране, далеч отвъд оригиналната демонстрация на NeRF, използван при синтез на изглед в реално време, напасване на SDF и гигапикселови изображения, симулация и като гръбнак на набори от инструменти като Nerfstudio. Докато Gaussian Splatting сега се конкурира със скоростта на необработено изобразяване, хеш кодирането остава централно място, където са необходими компактни, плавни невронни полета с възможност за запитване, а текущата работа смесва двете и насочва към по-големи, динамични и стриймируеми сцени.
Прилагайки го на практика
Защо има значение
- Скорост и мащаб. Visual AI може да автоматизира задачи за проверка, откриване и маркиране в мащаб.
- Избор на билдове. Творческите екипи могат да създават прототипи на концепции по-бързо с по-малко ръчни ревизии.
- Екип и работен процес. Операциите могат да използват изображения и видео сигнали, които преди са били трудни за обработка.
Внимавайте за
- Правата върху изображението и съгласието могат да се превърнат в правни рискове, ако произходът е неясен.
- Производителността на модела може да варира в зависимост от осветлението, демографските данни и средата.
- Фалшивите положителни резултати могат да останат незабелязани, освен ако не се наблюдават праговете на достоверност.
Следващи стъпки
- Определете критерии за приемане за прецизност, извикване и разходи за грешки.
- Тествайте с данни, които съответстват на реалните производствени условия.
- Добавете преглед от човек за прогнози с ниска степен на сигурност или с голямо въздействие.
- Проследявайте дрейфа на модела и проверявайте отново след промени в камерата или набора от данни.
Продължете да изследвате
Безплатен бюлетин
Получавайте дневния AI бюлетин
Три проверени AI истории всяка делнична сутрин, написани на достъпен език. Безплатно завинаги, без реклами.
Един имейл всеки делничен ден. Отписване с едно кликване. Никога не продаваме и не споделяме вашия имейл адрес.
Тествайте себе си
Take the Instant-NGP Hash Encoding quiz
Незабавна обратна връзка за всеки отговор и сертификат за споделяне с подлежащ на проверка идентификационен номер, след като преминете курс.
Подкрепете безплатното AI образование. AI Understanding е 501(c)(3) с нестопанска цел — без реклами, без платен достъп, никога. Направете дарение
Често задавани въпроси
Какво е Instant-NGP хеш кодиране?
Instant-NGP е техниката на NVIDIA, която обучава невронни радиационни полета и други невронни графични примитиви за секунди вместо часове, като съхранява обучаеми функции в хеш таблица с множество разделителни способности. Има значение, защото направи висококачествено заснемане на 3D сцена достатъчно бързо, за да се почувства почти интерактивно.
Кое е основното пречка в класическите NeRF, към които е насочен Instant-NGP?
Класическите NeRFs разчитат на голям MLP, запитван изключително често; Instant-NGP свива, които работят за ускоряване на обучението и изобразяването.
Къде Instant-NGP съхранява повечето от своите параметри, които могат да се научат?
Обучаемите функции живеят в хеш таблици с множество разделителни способности, оставяйки само малък MLP за комбиниране на търсени функции.
Как се комбинират функциите в множеството нива на разделителна способност?
Характеристиките на всяко ниво са трилинейно интерполирани и конкатенирани, преди да бъдат предадени на малкия MLP.
Как Instant-NGP обработва хеш сблъсъци в своите таблици с фина разделителна способност?
Сблъсъци са разрешени; регионите с висока плътност произвеждат по-силни градиенти, така че малкият MLP и оптимизацията се научават да разрешават споделени слотове.
Приблизително колко Instant-NGP ускорява NeRF обучението?
Чрез преместване на представянето в хеш таблици и свиване на MLP, обучението, което отне часове, може да завърши за секунди.
Продължавай да учиш
Свързани ръководства
Още ръководства, избрани за тази тема