KI-Bild-Neubeleuchtung

Was Sie auf einem Foto sehen, ist ungefähr das Ergebnis dessen, was eine Oberfläche ist (ihre Grundfarbe oder Albedo, ihre Form und ihr Material) in Kombination mit dem auf sie fallenden Licht. Relighting bedeutet, das Licht zu verändern und alles andere in Ruhe zu lassen. Das ist schwierig, weil ein einziges Foto diese Faktoren miteinander vermischt. Klassische und früh erlernte Methoden versuchten, die Faktoren explizit zu trennen. Die intrinsische Bildzerlegung unterteilt ein Bild in Albedo und Schattierung. Andere Modelle schätzen Oberflächennormalen und -tiefe und schattieren die Szene dann mit einem neuen Licht, das durch eine Umgebungskarte oder sphärische Harmonische niedriger Ordnung beschrieben wird. Forschung zur Porträt-Neubeleuchtung, wie Total Relighting (2021) von Google, basiert auf Daten von Lichtbühnen, bei denen es sich um Kuppeln aus steuerbaren Lichtern handelt, die eine Person unter vielen Lichtverhältnissen aufzeichnen. Diese Methoden können präzise sein, haben aber außerhalb ihrer Trainingsdaten Probleme, beispielsweise bei Haaren, Glas oder komplexen Szenen. Die diffusionsbasierte Neubeleuchtung verfolgt einen anderen Ansatz: Ein generatives Modell rendert das Bild unter der gewünschten Beleuchtung neu. IC-Light (Imposed Consistent Light) wurde 2024 von Lvmin Zhang, dem Entwickler hinter ControlNet, veröffentlicht. Es gibt Versionen, die auf einer Textbeschreibung des Lichts oder einem neuen Hintergrundbild basieren. Die wichtigste Trainingsidee ist der konsequente leichte Transport. In der Physik entspricht die Erscheinung eines Objekts unter einer Mischung aus zwei Lichtern der Mischung seiner Erscheinungen unter jedem einzelnen Licht. Wenn Sie dies während des Trainings durchsetzen, kann das Modell die Beleuchtung ändern, ohne die Identität oder Details des Objekts zu ändern. Zwei Missverständnisse sind weit verbreitet. Erstens ist Neubeleuchtung kein Farbfilter: Ein Filter kann keine Schatten verschieben oder Glanzlichter auf der Seite hinzufügen, die einem neuen Licht zugewandt ist. Zweitens stellt das Modell keine echte 3D-Geometrie wieder her. Es erzeugt eine plausible Schattierung, die bei Text, feinen Mustern und reflektierenden Oberflächen oder wenn die erforderliche Beleuchtung physikalisch inkonsistent ist, fehlschlagen kann. Die Ergebnisse können auch Details wie die Hautstruktur geringfügig verändern. Überprüfen Sie die Ergebnisse daher genau.