Gaussian Splatting
Gaussian Splatting представлява 3D сцена като милиони малки, цветни, полупрозрачни петна, които могат да бъдат изобразени в реално време.
Преглед
It delivers NeRF-like photorealism while running fast enough for interactive viewing.
Дълбоко гмуркане
Представено на SIGGRAPH 2023, 3D Gaussian Splatting реконструира сцени от снимки като NeRF, но използва изрично представяне вместо скрита невронна мрежа. Всяка сцена е облак от 3D гаусиани, размити елипсоидални петна и всяко петно съхранява позиция, размер и ориентация (неговата ковариация), непрозрачност и цвят. Вместо бавно изстрелване на лъчи през мрежа, методът "изпръсква" тези петна директно върху екрана и ги смесва, процес, по-близък до традиционното растеризиране и следователно много бърз. Обучението започва от рядък облак от точки, произведен от калибриране на камерата, след което оптимизира петната, като същевременно адаптивно добавя детайли там, където сцената е недостатъчно реконструирана и отрязва там, където е пренаселена. Резултатът е изобразяване в реално време при 1080p с качество, съперничещо на най-добрите NeRF, поради което се разпространява бързо чрез графики и инструменти за заснемане.
Техническа информация
Ключът е диференцируем растеризатор, базиран на плочки. 3D Gaussians се проектират в 2D, сортирани по дълбочина и алфа-смесени за плочка на екрана, така че изобразяването избягва маршируването на лъча на пиксел, което прави NeRF бавен. Цветът се съхранява със сферични хармоници, което позволява на всяко петно да променя външния си вид с ъгъл на гледане, за да улови отраженията. Тъй като целият тръбопровод е диференцируем, същият фотосъвпадащ градиент, използван от NeRF, оптимизира позициите, формите, непрозрачността и цветовете на петната, докато стъпката на уплътняване увеличава или разделя гаусите, за да добави липсващи детайли.
Стратегическо въздействие
Speed and scale
Visual AI може да автоматизира задачи за проверка, откриване и маркиране в мащаб.
Build choices
Творческите екипи могат да създават прототипи на концепции по-бързо с по-малко ръчни ревизии.
Team and workflow
Операциите могат да използват изображения и видео сигнали, които преди са били трудни за обработка.
Бъдещето на Gaussian Splatting
Gaussian Splatting се движи бързо от изследвания към продукти за 3D заснемане, картографиране и виртуално производство, отчасти защото изобразява в реално време на потребителски графични процесори и дори браузъри. Активната работа е насочена към намаляване на размера на файловете (сцените могат да бъдат големи), обработка на динамични и анимирани сцени, повторно осветяване и редактиране на отделни обекти. Очаквайте по-тясна интеграция с игрови двигатели и AR/VR, хибридни методи, които комбинират петна с мрежи и заснемане на видео от телефона. Все повече се възприема като практично допълнение или заместител на NeRF навсякъде, където интерактивната скорост има значение.
Внедряване в реалния свят
Създаване на 3D заснемания в реално време на стаи или продукти за уеб
Виртуална продукция и предвизуализация на филми с фотореалистични, навигационни комплекти
Бързо 3D сканиране на обекти и среда от видео на телефон или дрон
Изграждане на интерактивни AR/VR сцени, които работят гладко на потребителски хардуер
Рискове и предпазни огради
Правата върху изображението и съгласието могат да се превърнат в правни рискове, ако произходът е неясен.
Производителността на модела може да варира в зависимост от осветлението, демографските данни и средата.
Фалшивите положителни резултати могат да останат незабелязани, освен ако не се наблюдават праговете на достоверност.
Пътна карта за изпълнение
Определете критерии за приемане за прецизност, извикване и разходи за грешки.
Тествайте с данни, които съответстват на реалните производствени условия.
Добавете преглед от човек за прогнози с ниска степен на сигурност или с голямо въздействие.
Проследявайте дрейфа на модела и проверявайте отново след промени в камерата или набора от данни.
Продължете да изследвате
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Gaussian Splatting quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Гаусови процеси
Frequently asked questions
What is Gaussian Splatting?
Gaussian Splatting представлява 3D сцена като милиони малки, цветни, полупрозрачни петна, които могат да бъдат изобразени в реално време. Той осигурява фотореализъм, подобен на NeRF, докато работи достатъчно бързо за интерактивно гледане.
Как Gaussian Splatting представя 3D сцена?
Сцената е явен облак от 3D гаусиани, всеки от които е размит елипсоид с позиция, форма, непрозрачност и цвят.
Защо Gaussian Splatting се изобразява много по-бързо от оригиналния NeRF?
Проектирането и смесването на петна чрез растеризация, базирана на плочки, избягва бавното марширане на лъча на пиксел на NeRF, което позволява скорости в реално време.
Каква информация съхранява всеки 3D Gaussian?
Всяко петно носи позиция, ковариация (размер и ориентация), непрозрачност и информация за цвета.
Какво се използва, за да може цветът на петното да се променя с ъгъла на гледане?
Цветът е кодиран със сферични хармоници, така че всеки Гаус може да изглежда различен от различни посоки, улавяйки отражения.
Как обикновено започва обучението по Gaussian Splatting?
Започва с редки точки от калибриране на камерата от структурата от движение, след което оптимизира гаусианите оттам.