Salpicadura gaussiana
Gaussian Splatting representa una escena 3D con millones de pequeñas manchas de colores semitransparentes que se pueden renderizar en tiempo real.
Descripción general
It delivers NeRF-like photorealism while running fast enough for interactive viewing.
Buceo profundo
Presentado en SIGGRAPH 2023, 3D Gaussian Splatting reconstruye escenas a partir de fotografías como NeRF, pero utiliza una representación explícita en lugar de una red neuronal oculta. Cada escena es una nube de gaussianos 3D, manchas elipsoidales difusas, y cada mancha almacena una posición, un tamaño y orientación (su covarianza), una opacidad y un color. En lugar de disparar rayos lentamente a través de una red, el método "salpica" estas manchas directamente en la pantalla y las combina, un proceso más cercano a la rasterización tradicional y, por lo tanto, muy rápido. El entrenamiento comienza a partir de una nube de puntos escasa producida por la calibración de la cámara, luego optimiza las manchas mientras agrega detalles de manera adaptativa donde la escena no está suficientemente reconstruida y poda donde está sobrepoblada. El resultado es una renderización en tiempo real a 1080p con una calidad que rivaliza con los mejores NeRF, razón por la cual se extendió rápidamente a través de gráficos y herramientas de captura.
Información técnica
La clave es un rasterizador diferenciable basado en mosaicos. Los gaussianos 3D se proyectan en 2D, se ordenan por profundidad y se combinan alfa por mosaico de pantalla, por lo que el renderizado evita la marcha de rayos por píxel que ralentiza NeRF. El color se almacena con armónicos esféricos, lo que permite que cada mancha cambie de apariencia con el ángulo de visión para capturar reflejos. Debido a que todo el proceso es diferenciable, el mismo descenso de gradiente de coincidencia de fotografías utilizado por NeRF optimiza las posiciones, formas, opacidades y colores de las burbujas, mientras que un paso de densificación crece o divide las gaussianas para agregar detalles faltantes.
Impacto Estratégico
Speed and scale
La IA visual puede automatizar tareas de inspección, detección y etiquetado a escala.
Construir opciones
Los equipos creativos pueden crear prototipos de conceptos más rápido y con menos revisiones manuales.
Equipo y flujo de trabajo
Las operaciones pueden utilizar señales de imagen y vídeo que antes eran difíciles de procesar.
El futuro del splatting gaussiano
Gaussian Splatting está pasando rápidamente de la investigación a productos para captura, mapeo y producción virtual 3D, en parte porque renderiza en tiempo real en GPU de consumo e incluso en navegadores. El trabajo activo tiene como objetivo reducir el tamaño de los archivos (las escenas pueden ser grandes), manejar escenas dinámicas y animadas, volver a iluminar y editar objetos individuales. Espere una integración más estrecha con los motores de juegos y AR/VR, métodos híbridos que combinan símbolos con mallas y captura de video del teléfono. Se considera cada vez más como un complemento práctico o un reemplazo de NeRF dondequiera que la velocidad interactiva sea importante.
Implementación en el mundo real
Creación de capturas 3D explorables en tiempo real de habitaciones o productos para la web
Producción virtual y previsualización de películas con decorados fotorrealistas y navegables.
Escaneo 3D rápido de objetos y entornos desde un teléfono o video de un dron
Creación de escenas AR/VR interactivas que se ejecutan sin problemas en hardware de consumo
Riesgos y barandillas
Los derechos de imagen y el consentimiento pueden convertirse en riesgos legales si la procedencia no está clara.
El rendimiento del modelo puede variar según la iluminación, la demografía y los entornos.
Los falsos positivos pueden pasar desapercibidos a menos que se controlen los umbrales de confianza.
Hoja de ruta de implementación
Defina criterios de aceptación para costos de precisión, recuperación y error.
Pruebe con datos que coincidan con las condiciones reales de producción.
Agregue revisión humana para predicciones de baja confianza o de alto impacto.
Realice un seguimiento de la deriva del modelo y vuelva a validarlo después de cambios en la cámara o el conjunto de datos.
Sigue explorando
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Gaussian Splatting quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Siguiente guía
Procesos gaussianos
Preguntas frecuentes
What is Gaussian Splatting?
Gaussian Splatting representa una escena 3D con millones de pequeñas manchas de colores semitransparentes que se pueden renderizar en tiempo real. Ofrece fotorrealismo similar a NeRF mientras se ejecuta lo suficientemente rápido para una visualización interactiva.
¿Cómo representa Gaussian Splatting una escena 3D?
La escena es una nube explícita de gaussianos 3D, cada uno de los cuales es un elipsoide difuso con posición, forma, opacidad y color.
¿Por qué el Gaussian Splatting es mucho más rápido de renderizar que el NeRF original?
Proyectar y combinar manchas mediante rasterización basada en mosaicos evita el lento avance de los rayos por píxel de NeRF, lo que permite velocidades en tiempo real.
¿Qué información almacena cada gaussiano 3D?
Cada blob lleva una posición, una covarianza (tamaño y orientación), una opacidad e información de color.
¿Qué se utiliza para permitir que el color de una mancha cambie con el ángulo de visión?
El color está codificado con armónicos esféricos, por lo que cada gaussiano puede parecer diferente desde diferentes direcciones, capturando reflejos.
¿Cómo comienza normalmente el entrenamiento en Gaussian Splatting?
Comienza con puntos escasos de la calibración de la cámara de estructura a partir de movimiento y luego optimiza las gaussianas a partir de ahí.