Éclaboussures gaussiennes
Gaussian Splatting représente une scène 3D sous la forme de millions de petites taches colorées et semi-transparentes qui peuvent être restituées en temps réel.
Aperçu
It delivers NeRF-like photorealism while running fast enough for interactive viewing.
Plongée profonde
Présenté au SIGGRAPH 2023, le 3D Gaussian Splatting reconstruit des scènes à partir de photos comme NeRF mais utilise une représentation explicite au lieu d'un réseau neuronal caché. Chaque scène est un nuage de gaussiennes 3D, des blobs ellipsoïdaux flous, et chaque blob stocke une position, une taille et une orientation (sa covariance), une opacité et une couleur. Au lieu de projeter lentement des rayons à travers un réseau, la méthode « éclabousse » ces blobs directement sur l'écran et les mélange, un processus plus proche de la rastérisation traditionnelle et donc très rapide. La formation commence à partir d'un nuage de points clairsemé produit par l'étalonnage de la caméra, puis optimise les blobs tout en ajoutant de manière adaptative des détails là où la scène est sous-reconstruite et en éliminant là où elle est surpeuplée. Le résultat est un rendu en temps réel à 1080p avec une qualité rivalisant avec les meilleurs NeRF, c'est pourquoi il s'est rapidement répandu via les outils graphiques et de capture.
Aperçu technique
La clé est un rastériseur différenciable basé sur des tuiles. Les Gaussiennes 3D sont projetées en 2D, triées par profondeur et mélangées alpha par tuile d'écran, de sorte que le rendu évite la marche de rayons par pixel qui ralentit NeRF. La couleur est stockée avec des harmoniques sphériques, permettant à chaque goutte de changer d'apparence selon l'angle de vue pour capturer les reflets. Étant donné que l'ensemble du pipeline est différenciable, la même descente de gradient de correspondance de photos utilisée par NeRF optimise les positions, les formes, les opacités et les couleurs des gouttes, tandis qu'une étape de densification agrandit ou divise les gaussiennes pour ajouter les détails manquants.
Impact stratégique
Vitesse et échelle
L’IA visuelle peut automatiser les tâches d’inspection, de détection et de marquage à grande échelle.
Choix de construction
Les équipes créatives peuvent prototyper des concepts plus rapidement avec moins de révisions manuelles.
Équipe et flux de travail
Les opérations peuvent utiliser des signaux d’image et vidéo qui étaient auparavant difficiles à traiter.
L'avenir des éclaboussures gaussiennes
Gaussian Splatting évolue rapidement de la recherche vers des produits pour la capture 3D, la cartographie et la production virtuelle, en partie parce qu'il effectue un rendu en temps réel sur les GPU grand public et même les navigateurs. Le travail actif vise à réduire la taille des fichiers (les scènes peuvent être volumineuses), à gérer des scènes dynamiques et animées, à rallumer et à éditer des objets individuels. Attendez-vous à une intégration plus étroite avec les moteurs de jeu et AR/VR, des méthodes hybrides qui combinent des éclaboussures avec des maillages et une capture à partir de la vidéo d'un téléphone. Il est de plus en plus considéré comme un complément pratique ou un remplacement du NeRF partout où la vitesse interactive est importante.
Mise en œuvre dans le monde réel
Création de captures 3D explorables en temps réel de pièces ou de produits pour le Web
Production virtuelle et prévisualisation de films avec des décors photoréalistes et navigables
Numérisation 3D rapide d'objets et d'environnements à partir d'une vidéo de téléphone ou de drone
Créer des scènes AR/VR interactives qui fonctionnent correctement sur le matériel grand public
Risques et garde-fous
Les droits à l’image et le consentement peuvent devenir des risques juridiques si la provenance n’est pas claire.
Les performances du modèle peuvent varier en fonction de l'éclairage, des données démographiques et des environnements.
Les faux positifs peuvent passer inaperçus si les seuils de confiance ne sont pas surveillés.
Feuille de route de mise en œuvre
Définissez des critères d’acceptation pour la précision, le rappel et les coûts d’erreur.
Testez avec des données qui correspondent aux conditions de production réelles.
Ajoutez un examen humain pour les prédictions peu fiables ou à fort impact.
Suivez la dérive du modèle et revalidez après les modifications de la caméra ou de l’ensemble de données.
Continuez à explorer
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Gaussian Splatting quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Guide suivant
Processus gaussiens
Questions fréquemment posées
What is Gaussian Splatting?
Gaussian Splatting représente une scène 3D sous la forme de millions de petites taches colorées et semi-transparentes qui peuvent être restituées en temps réel. Il offre un photoréalisme de type NeRF tout en fonctionnant suffisamment vite pour une visualisation interactive.
Comment le Gaussian Splatting représente-t-il une scène 3D ?
La scène est un nuage explicite de Gaussiennes 3D, chacune étant un ellipsoïde flou avec une position, une forme, une opacité et une couleur.
Pourquoi le rendu du Gaussian Splatting est-il beaucoup plus rapide que le NeRF original ?
La projection et le mélange de blobs via une rastérisation basée sur des tuiles évitent la marche lente des rayons par pixel de NeRF, permettant ainsi des vitesses en temps réel.
Quelles informations chaque gaussienne 3D stocke-t-elle ?
Chaque blob porte une position, une covariance (taille et orientation), une opacité et des informations de couleur.
Qu'est-ce qui permet à la couleur d'une goutte de changer en fonction de l'angle de vue ?
La couleur est codée avec des harmoniques sphériques, de sorte que chaque gaussienne peut apparaître différente dans différentes directions, capturant les réflexions.
Comment commence généralement la formation en Splatting Gaussien ?
Cela commence par des points clairsemés issus de l'étalonnage de la structure à partir du mouvement de la caméra, puis optimise les gaussiennes à partir de là.