Diffusionstransformatoren
Diffusion Transformers (DiTs) tauschen das Faltungs-U-Net, das Herzstück von Bild- und Videogeneratoren, gegen ein Transformer-Backbone.
Übersicht
This architecture powers leading systems like Stable Diffusion 3 and OpenAI's Sora, and it scales remarkably well as you add compute.
Tiefer Einblick
Diffusionsmodelle erzeugen Bilder, indem sie vom reinen Rauschen ausgehen und es iterativ zu einem kohärenten Bild entrauschen. Jahrelang war das Netzwerk, das diese Rauschunterdrückung durchführte, ein U-Net, eine Faltungsarchitektur. Der Diffusion Transformer, der 2022 von Peebles und Xie eingeführt wurde, ersetzt das U-Net durch einen Transformer. Das Bild wird zunächst in einen latenten Raum komprimiert, in kleine Patches aufgeteilt und jeder Patch wird zu einem Token, ähnlich wie Wörter in einem Sprachmodell. Der Transformer verarbeitet diese Token dann bei jedem Rauschunterdrückungsschritt mit Selbstaufmerksamkeit. Eine wichtige Erkenntnis war, dass sich die DiT-Leistung vorhersehbar verbessert, wenn die Modellgröße erhöht und die Patchgröße verringert wird, und zwar gemäß den Gesetzen der sauberen Skalierung. Diese Skalierbarkeit ist der Grund, warum Text-zu-Video- und High-End-Text-zu-Bild-Systeme größtenteils auf Transformer-Backbones migriert wurden.
Technischer Einblick
Eine zentrale Neuerung besteht darin, wie DiTs Konditionierungen wie den Zeitschritt und die Textaufforderung einbauen. Anstelle einer einfachen Verkettung verwenden sie die Adaptive Layer Normalization (adaLN), bei der das Netzwerk Skalierungs- und Verschiebungsparameter für Normalisierungsschichten aus dem Konditionierungssignal vorhersagt. Die adaLN-zero-Variante initialisiert diese, sodass jeder Block als Identitätsfunktion startet und so das Training stabilisiert. Patches werden zu Token zusammengefasst, von Standard-Transformer-Blöcken mit Eigenaufmerksamkeit verarbeitet, dann wieder zusammengesetzt und wieder in Pixel dekodiert.
Strategische Auswirkungen
Geschwindigkeit und Umfang
Visuelle KI kann Inspektions-, Erkennungs- und Kennzeichnungsaufgaben im großen Maßstab automatisieren.
Bauen Sie Entscheidungen auf
Kreativteams können mit weniger manuellen Überarbeitungen schneller Prototypen von Konzepten erstellen.
Team und Arbeitsablauf
Vorgänge können Bild- und Videosignale nutzen, die bisher schwer zu verarbeiten waren.
Die Zukunft der Diffusionstransformatoren
Diffusionstransformatoren werden zum Standard-Rückgrat für generative Medien. Durch ihr tokenbasiertes Design eignen sie sich ideal für die Vereinheitlichung von Bildern, Videos und sogar der multimodalen Generierung in einer skalierbaren Architektur. Die Forschung strebt nach längeren Videos, höherer Auflösung und effizienterer Aufmerksamkeit, um die quadratischen Kosten vieler Token einzudämmen. Erwarten Sie eine Konvergenz zwischen Sprach- und Visionsmodellen, wobei ähnliche Transformer-Skalierungsrezepte und Infrastruktur beides unterstützen und den Fortschritt bei Weltmodellen und interaktiven Videos beschleunigen.
Reale Umsetzung
OpenAIs Sora verwendet ein Transformer-Backbone über Raumzeit-Patches, um minutenlange High-Fidelity-Videos aus Textaufforderungen zu generieren.
Stable Diffusion 3 verwendet einen multimodalen Diffusion Transformer (MMDiT), um generierte Bilder besser an detaillierten Textbeschreibungen auszurichten.
Forscher skalieren einen DiT auf Milliarden von Parametern und beobachten eine vorhersehbare Verbesserung der Bildqualität, die als Grundlage für Entscheidungen über das Rechenbudget dient.
Ein Studio verwendet ein DiT-basiertes Modell, um kurze Clips zu verlängern, wobei zusätzliche Videobilder als zusätzliche Patch-Token zum Entrauschen behandelt werden.
Risiken und Leitplanken
Bildrechte und Einwilligungen können zu rechtlichen Risiken werden, wenn die Herkunft unklar ist.
Die Modellleistung kann je nach Beleuchtung, Demografie und Umgebung variieren.
Fehlalarme können unbemerkt bleiben, wenn die Konfidenzschwellen nicht überwacht werden.
Implementierungs-Roadmap
Definieren Sie Akzeptanzkriterien für Präzision, Rückruf und Fehlerkosten.
Testen Sie mit Daten, die den realen Produktionsbedingungen entsprechen.
Fügen Sie eine menschliche Überprüfung für Vorhersagen mit geringem Vertrauen oder großer Auswirkung hinzu.
Verfolgen Sie die Modelldrift und führen Sie nach Kamera- oder Datensatzänderungen eine erneute Validierung durch.
Entdecken Sie weiter
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Diffusion Transformers quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Nächster Leitfaden
Räumliche Transformatornetzwerke
Häufig gestellte Fragen
What is Diffusion Transformers?
Diffusion Transformers (DiTs) tauschen das Faltungs-U-Net, das Herzstück von Bild- und Videogeneratoren, gegen ein Transformer-Backbone. Diese Architektur unterstützt führende Systeme wie Stable Diffusion 3 und Sora von OpenAI und lässt sich bemerkenswert gut skalieren, wenn Sie Rechenleistung hinzufügen.
Welche Komponente ersetzt ein Diffusionstransformator im Vergleich zu herkömmlichen Diffusionsmodellen?
DiTs ersetzen das U-Net, das Faltungsnetzwerk, das die Rauschunterdrückung durchführte, durch ein Transformer-Backbone.
Wie verwandelt ein DiT ein Bild in etwas, das ein Transformer verarbeiten kann?
Das latente Bild wird in kleine Patches unterteilt, und jeder Patch wird zu einem Token, analog zu Wörtern in einem Sprachmodell.
Was hat das ursprüngliche DiT-Papier zum Thema Skalierung herausgefunden?
Die DiT-Qualität verbessert sich auf saubere und vorhersehbare Weise, wenn Sie die Modellberechnung erhöhen und kleinere Patches verwenden und dabei den Skalierungsgesetzen folgen.
Wie integrieren DiTs normalerweise Konditionierungen wie den Zeitschritt und die Textaufforderung?
DiTs nutzen adaptive Schichtnormalisierung, um Skalierungs- und Verschiebungsparameter für Normalisierungsschichten aus dem Konditionierungssignal vorherzusagen.
Was bewirkt die „adaLN-zero“-Initialisierung?
adaLN-zero initialisiert die Modulation, sodass jeder Block zunächst als Identität fungiert, was das Training stabilisiert und verbessert.