Rééclairage d'images IA

Ce que vous voyez sur une photo est à peu près le résultat de ce qu'est une surface (sa couleur de base, ou albédo, sa forme et son matériau) combiné à la lumière qui tombe dessus. Rallumer signifie changer la lumière tout en laissant tout le reste tranquille. C’est difficile car une seule photo mélange ces facteurs. Les méthodes classiques et les premières méthodes ont tenté de séparer explicitement les facteurs. La décomposition intrinsèque de l'image divise une image en albédo et en ombrage. D'autres modèles estiment les normales et la profondeur de la surface, puis ré-ombragent la scène avec une nouvelle lumière décrite par une carte d'environnement ou des harmoniques sphériques d'ordre inférieur. Les recherches sur le rééclairage de portraits, telles que Total Relighting de Google (2021), se sont appuyées sur les données des scènes d'éclairage, qui sont des dômes de lumières contrôlables qui enregistrent une personne dans de nombreuses conditions d'éclairage. Ces méthodes peuvent être précises mais peinent en dehors de leurs données d'entraînement, par exemple avec des cheveux, du verre ou des scènes complexes. Le rééclairage basé sur la diffusion adopte une approche différente : un modèle génératif restitue l'image sous l'éclairage demandé. IC-Light (Imposing Consistent Light) a été publié en 2024 par Lvmin Zhang, le développeur derrière ControlNet. Il se décline en versions conditionnées par une description textuelle de la lumière ou par une nouvelle image de fond. Son idée clé en matière de formation est le transport léger et cohérent. En physique, l'apparence d'un objet sous un mélange de deux lumières est égale au mélange de ses apparences sous chaque lumière seule. L'application de cela pendant la formation aide le modèle à modifier l'éclairage sans modifier l'identité ou les détails de l'objet. Deux idées fausses sont courantes. Premièrement, le rééclairage n'est pas un filtre de couleur : un filtre ne peut pas déplacer les ombres ni ajouter de reflets du côté faisant face à une nouvelle lumière. Deuxièmement, le modèle ne récupère pas la véritable géométrie 3D. Il produit des ombres plausibles, qui peuvent échouer sur le texte, les motifs fins et les surfaces réfléchissantes, ou lorsque l'éclairage demandé est physiquement incohérent. Les résultats peuvent également modifier subtilement des détails tels que la texture de la peau, alors inspectez attentivement les résultats.