Champs de rayonnement plénoxels et voxels
Plenoxels a montré que vous pouvez reconstruire une scène 3D avec des résultats de qualité NeRF sans aucun réseau neuronal – juste une grille de voxels stockant la couleur et la densité.
Aperçu
The result trains roughly 100x faster than the original NeRF while matching its visual quality.
Plongée profonde
NeRF atteint le photoréalisme mais est lent car chaque échantillon nécessite un passage à travers un réseau neuronal profond, et la formation peut prendre des heures ou des jours. Plenoxels (Sara Fridovich-Keil, Alex Yu et al., 2022) a posé une question provocatrice : le réseau est-il vraiment nécessaire ? Leur réponse a été non. Ils représentent la scène sous la forme d’une grille de voxels 3D clairsemée. Chaque voxel occupé stocke une valeur d'opacité unique ainsi que des coefficients harmoniques sphériques qui codent la couleur dépendant de la vue. Pour restituer un pixel, le système interpole de manière trilinéaire ces valeurs le long du rayon et les compose avec un rendu de volume standard. Puisqu'il n'y a pas de réseau, le tout est optimisé directement avec une descente de gradient sur les valeurs des voxels, régularisées pour plus de fluidité. Le résultat principal : une qualité comparable à celle du NeRF, entraînée en quelques minutes sur un seul GPU.
Aperçu technique
La couleur dépendante de la vue est la partie la plus intelligente. Au lieu d'un réseau produisant du RVB par angle de vue, chaque voxel stocke un petit ensemble de coefficients d'harmoniques sphériques (SH) par canal de couleur. L'évaluation de la base SH dans la direction du rayon reconstruit la façon dont la couleur de ce point change avec le point de vue, capturant ainsi les reflets et les reflets spéculaires. L'opacité est indépendante de la direction. L'interpolation trilinéaire différenciable et le rendu de volume rendent chaque valeur de voxel directement entraînable, de sorte que l'optimisation est un ajustement simple et sans réseau de type moindres carrés.
Impact stratégique
Vitesse et échelle
L’IA visuelle peut automatiser les tâches d’inspection, de détection et de marquage à grande échelle.
Choix de construction
Les équipes créatives peuvent prototyper des concepts plus rapidement avec moins de révisions manuelles.
Équipe et flux de travail
Les opérations peuvent utiliser des signaux d’image et vidéo qui étaient auparavant difficiles à traiter.
L’avenir des champs de plenoxels et de voxel
Plenoxels a prouvé que c'est la représentation, et non le réseau neuronal, qui détermine la qualité du NeRF – une découverte qui a remodelé le domaine. Il a directement inspiré des méthodes explicites et hybrides comme les grilles de hachage d'Instant-NGP et, à terme, le Splatting gaussien 3D, qui domine désormais le rendu de rayonnement en temps réel. Attendez-vous à une évolution continue vers des primitives explicites et conviviales pour les GPU, qui s'entraînent en quelques secondes et s'affichent en temps réel, avec des réseaux neuronaux utilisés de manière sélective plutôt que comme magasin de scène principal.
Mise en œuvre dans le monde réel
Reconstruisez rapidement un objet capturé en un actif 3D en quelques minutes pour le commerce électronique ou la numérisation d'un musée, au lieu de plusieurs heures d'attente.
Prototypage rapide de synthèse de nouvelles vues sur un GPU grand public unique pour la recherche et l'éducation.
Génération de scènes de voxels explicites et modifiables que les artistes peuvent directement inspecter et élaguer, contrairement aux poids de réseau opaques.
Servir d'exemple pédagogique selon lequel la représentation de la scène, et non l'apprentissage en profondeur, est ce qui produit des résultats photoréalistes.
Risques et garde-fous
Les droits à l’image et le consentement peuvent devenir des risques juridiques si la provenance n’est pas claire.
Les performances du modèle peuvent varier en fonction de l'éclairage, des données démographiques et des environnements.
Les faux positifs peuvent passer inaperçus si les seuils de confiance ne sont pas surveillés.
Feuille de route de mise en œuvre
Définissez des critères d’acceptation pour la précision, le rappel et les coûts d’erreur.
Testez avec des données qui correspondent aux conditions de production réelles.
Ajoutez un examen humain pour les prédictions peu fiables ou à fort impact.
Suivez la dérive du modèle et revalidez après les modifications de la caméra ou de l’ensemble de données.
Continuez à explorer
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Plenoxels and Voxel Radiance Fields quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Guide suivant
Champs de rayonnement neuronal
Questions fréquemment posées
What is Plenoxels and Voxel Radiance Fields?
Plenoxels a montré que vous pouvez reconstruire une scène 3D avec des résultats de qualité NeRF sans aucun réseau neuronal – juste une grille de voxels stockant la couleur et la densité. Le résultat s'entraîne environ 100 fois plus vite que le NeRF original tout en correspondant à sa qualité visuelle.
Quel est le choix de conception le plus surprenant dans les Plenoxels par rapport au NeRF ?
Plenoxels stocke la scène directement dans une grille de voxels et optimise ces valeurs, sans réseau neuronal dans le pipeline.
Que stocke chaque voxel occupé dans Plenoxels pour capturer la couleur dépendant de la vue ?
Chaque voxel contient l'opacité ainsi que des coefficients harmoniques sphériques par canal de couleur, qui codent la façon dont la couleur change avec la direction de visualisation.
À quelle vitesse les Plenoxels se sont-ils entraînés à peu près par rapport au NeRF d'origine ?
En éliminant les passages réseau par échantillon, Plenoxels s'est entraîné de l'ordre de 100 fois plus rapidement, en quelques minutes seulement.
Comment les valeurs sont-elles extraites de la grille de voxels le long d'un rayon ?
Plenoxels utilise une interpolation trilinéaire différentiable pour lire en douceur la couleur et l'opacité entre les centres des voxels.
Quelle conclusion plus large les Plenoxels ont-ils démontré sur le terrain ?
En faisant correspondre la qualité NeRF avec l'absence de réseau, Plenoxels a montré que la représentation et l'optimisation, et non le MLP, étaient responsables des résultats.