Диференцируемо изобразяване
Диференцируемото изобразяване прави процеса на превръщане на 3D сцена в 2D изображение напълно диференциран, така че можете да изчислите градиенти от изобразените пиксели обратно към параметрите на сцената.
Преглед
This lets you optimize geometry, materials, lighting, and camera using gradient descent.
Дълбоко гмуркане
Традиционното изобразяване е еднопосочна улица: добавете геометрия, материали, светлини и камера и излизат пиксели. Диференцируемото изобразяване обръща този поток, като изчислява как всеки изходен пиксел се променя по отношение на всеки входен параметър. С тези градиенти оптимизаторът може да коригира 3D форма или нейните текстури, докато изобразеното изображение съвпадне с целева снимка, което е сърцето на обратното изобразяване и анализ чрез синтез. Основната трудност е, че изобразяването включва прекъсвания, особено при силуети на обекти и оклузионни ръбове, където пиксел рязко скача от преден план към заден план. Методи като мека растеризация (SoftRas), семплиране на ръбове (redner на Li et al.) и растеризаторът в PyTorch3D се справят с тях с изглаждане или специални гранични интеграли. NeRF обучението и 3D Gaussian splatting са популярни приложения.
Техническа информация
Основното предизвикателство е прекъсването на видимостта. При силуета на обект пикселът се премества от преден план към заден план, така че наивната производна е нула почти навсякъде и недефинирана по ръба, което не дава полезен градиент за формата. Решенията или омекотяват покритието, така че триъгълниците допринасят за плавен, замъглен отпечатък върху близките пиксели (меко растеризиране) или изрично вземат проби по ръбовете, за да изчислят граничния член на интеграла за изобразяване (семплиране на ръбове).
Стратегическо въздействие
Speed and scale
Visual AI може да автоматизира задачи за проверка, откриване и маркиране в мащаб.
Build choices
Творческите екипи могат да създават прототипи на концепции по-бързо с по-малко ръчни ревизии.
Team and workflow
Операциите могат да използват изображения и видео сигнали, които преди са били трудни за обработка.
Бъдещето на диференцируемото изобразяване
Диференцируемото изобразяване се превръща в свързващата тъкан между графиките и дълбокото обучение. Тъй като диференциращите рендери в реално време и конвейерите за разпръскване на Гаус се развиват, очаквайте по-тесни цикли за 3D реконструкция от снимки, улавяне на невронни материали, роботизирана симулация с обучаема физика и системи от край до край, при които единична загуба протича от крайното изображение до параметрите на сцената. Диференцируемото проследяване на пътя за пълно глобално осветление е активна изследователска граница, движеща се към практичност.
Внедряване в реалния свят
Възстановяване на формата и текстурата на 3D обект от няколко снимки чрез оптимизиране на модела, докато изобразяванията съответстват на изображенията (обратно изобразяване).
Обучение на NeRF и 3D гаусови знаци, където градиенти от изобразени изгледи актуализират представянето на сцената.
Оценяване на свойствата на материала на обект (грапавост, отразяваща способност) чрез съпоставяне на изобразени акценти с реална снимка.
Калибриране на камера и поза в роботиката, монтиране на известен 3D модел към изображение на камера, за да се възстанови позицията му.
Рискове и предпазни огради
Правата върху изображението и съгласието могат да се превърнат в правни рискове, ако произходът е неясен.
Производителността на модела може да варира в зависимост от осветлението, демографските данни и средата.
Фалшивите положителни резултати могат да останат незабелязани, освен ако не се наблюдават праговете на достоверност.
Пътна карта за изпълнение
Определете критерии за приемане за прецизност, извикване и разходи за грешки.
Тествайте с данни, които съответстват на реалните производствени условия.
Добавете преглед от човек за прогнози с ниска степен на сигурност или с голямо въздействие.
Проследявайте дрейфа на модела и проверявайте отново след промени в камерата или набора от данни.
Продължете да изследвате
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Differentiable Rendering quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
DDSP Диференцируем аудио синтез
Frequently asked questions
What is Differentiable Rendering?
Диференцируемото изобразяване прави процеса на превръщане на 3D сцена в 2D изображение напълно диференциран, така че можете да изчислите градиенти от изобразените пиксели обратно към параметрите на сцената. Това ви позволява да оптимизирате геометрията, материалите, осветлението и камерата с помощта на градиентно спускане.
Какво ви позволява да изчислявате диференцируемото изобразяване?
Като направите изобразяването диференцирано, вие получавате градиенти, които преминават от пикселите обратно към входовете на сцената, позволявайки оптимизация, базирана на градиенти.
Защо силуетите на обекти са основна трудност за диференцируемо изобразяване?
При даден силует пикселът щраква между преден и заден план, така че наивната производна е нула или недефинирана и не носи информация за формата.
Как мекото растеризиране се справя с проблема с прекъсването?
Мекото растеризиране (напр. SoftRas) омекотява покритието, така че всеки триъгълник плавно влияе върху околните пиксели, създавайки използваеми градиенти.
Какво е „обратно рендиране“?
Инверсното изобразяване използва диференцируемо изобразяване за оптимизиране на параметрите на сцената, докато синтезираното изображение съвпадне с наблюдавана снимка.
Коя съвременна техника разчита на диференцирано изобразяване за обучение?
Както NeRFs, така и 3D Gaussian splatting са оптимизирани чрез обратно разпространение на загубата на пространството на изображението чрез диференцируем рендър.