Als nächstesNächster Leitfaden
Räumliche Transformatornetzwerke
Visuelle KI
Visueller KI-GUIDE
Diffusionstransformatoren
Diffusion Transformers (DiTs) tauschen das Faltungs-U-Net, das Herzstück von Bild- und Videogeneratoren, gegen ein Transformer-Backbone.
Hören Sie sich diesen Leitfaden anKI-erzählt · ~2 min
Auf dieser Seite2 Minuten gelesen
Übersicht
This architecture powers leading systems like Stable Diffusion 3 and OpenAI's Sora, and it scales remarkably well as you add compute.
Tiefer Einblick
Diffusionsmodelle erzeugen Bilder, indem sie vom reinen Rauschen ausgehen und es iterativ zu einem kohärenten Bild entrauschen. Jahrelang war das Netzwerk, das diese Rauschunterdrückung durchführte, ein U-Net, eine Faltungsarchitektur. Der Diffusion Transformer, der 2022 von Peebles und Xie eingeführt wurde, ersetzt das U-Net durch einen Transformer. Das Bild wird zunächst in einen latenten Raum komprimiert, in kleine Patches aufgeteilt und jeder Patch wird zu einem Token, ähnlich wie Wörter in einem Sprachmodell. Der Transformer verarbeitet diese Token dann bei jedem Rauschunterdrückungsschritt mit Selbstaufmerksamkeit. Eine wichtige Erkenntnis war, dass sich die DiT-Leistung vorhersehbar verbessert, wenn die Modellgröße erhöht und die Patchgröße verringert wird, und zwar gemäß den Gesetzen der sauberen Skalierung. Diese Skalierbarkeit ist der Grund, warum Text-zu-Video- und High-End-Text-zu-Bild-Systeme größtenteils auf Transformer-Backbones migriert wurden.
Reale Umsetzung
OpenAIs Sora verwendet ein Transformer-Backbone über Raumzeit-Patches, um minutenlange High-Fidelity-Videos aus Textaufforderungen zu generieren.
Stable Diffusion 3 verwendet einen multimodalen Diffusion Transformer (MMDiT), um generierte Bilder besser an detaillierten Textbeschreibungen auszurichten.
Forscher skalieren einen DiT auf Milliarden von Parametern und beobachten eine vorhersehbare Verbesserung der Bildqualität, die als Grundlage für Entscheidungen über das Rechenbudget dient.
Ein Studio verwendet ein DiT-basiertes Modell, um kurze Clips zu verlängern, wobei zusätzliche Videobilder als zusätzliche Patch-Token zum Entrauschen behandelt werden.
Die Zukunft der Diffusionstransformatoren
Diffusionstransformatoren werden zum Standard-Rückgrat für generative Medien. Durch ihr tokenbasiertes Design eignen sie sich ideal für die Vereinheitlichung von Bildern, Videos und sogar der multimodalen Generierung in einer skalierbaren Architektur. Die Forschung strebt nach längeren Videos, höherer Auflösung und effizienterer Aufmerksamkeit, um die quadratischen Kosten vieler Token einzudämmen. Erwarten Sie eine Konvergenz zwischen Sprach- und Visionsmodellen, wobei ähnliche Transformer-Skalierungsrezepte und Infrastruktur beides unterstützen und den Fortschritt bei Weltmodellen und interaktiven Videos beschleunigen.
In die Tat umsetzen
Warum es wichtig ist
- Geschwindigkeit und Umfang. Visuelle KI kann Inspektions-, Erkennungs- und Kennzeichnungsaufgaben im großen Maßstab automatisieren.
- Bauen Sie Entscheidungen auf. Kreativteams können mit weniger manuellen Überarbeitungen schneller Prototypen von Konzepten erstellen.
- Team und Arbeitsablauf. Vorgänge können Bild- und Videosignale nutzen, die bisher schwer zu verarbeiten waren.
Achten Sie auf
- Bildrechte und Einwilligungen können zu rechtlichen Risiken werden, wenn die Herkunft unklar ist.
- Die Modellleistung kann je nach Beleuchtung, Demografie und Umgebung variieren.
- Fehlalarme können unbemerkt bleiben, wenn die Konfidenzschwellen nicht überwacht werden.
Nächste Schritte
- Definieren Sie Akzeptanzkriterien für Präzision, Rückruf und Fehlerkosten.
- Testen Sie mit Daten, die den realen Produktionsbedingungen entsprechen.
- Fügen Sie eine menschliche Überprüfung für Vorhersagen mit geringem Vertrauen oder großer Auswirkung hinzu.
- Verfolgen Sie die Modelldrift und führen Sie nach Kamera- oder Datensatzänderungen eine erneute Validierung durch.
Entdecken Sie weiter
Kostenloser Newsletter
Erhalten Sie die tägliche KI-Briefing
Drei verifizierte KI-Geschichten jeden Werktagmorgen, in einfachem Englisch geschrieben. Für immer kostenlos, keine Werbung.
Eine E‑Mail jeden Werktag. Abmelden mit einem Klick. Wir verkaufen oder teilen Ihre Adresse nie.
Testen Sie sich selbst
Take the Diffusion Transformers quiz
Sofortiges Feedback zu jeder Antwort und ein teilbares Zertifikat mit verifizierbarer ID, sobald Sie einen Kurs bestanden haben.
Unterstützen Sie kostenlose KI-Bildung. AI Understanding ist eine 501(c)(3) gemeinnützige Organisation – keine Werbung, keine Paywall, nie. Machen Sie eine Spende
Häufig gestellte Fragen
What is Diffusion Transformers?
Diffusion Transformers (DiTs) tauschen das Faltungs-U-Net, das Herzstück von Bild- und Videogeneratoren, gegen ein Transformer-Backbone. Diese Architektur unterstützt führende Systeme wie Stable Diffusion 3 und Sora von OpenAI und lässt sich bemerkenswert gut skalieren, wenn Sie Rechenleistung hinzufügen.
Welche Komponente ersetzt ein Diffusionstransformator im Vergleich zu herkömmlichen Diffusionsmodellen?
DiTs ersetzen das U-Net, das Faltungsnetzwerk, das die Rauschunterdrückung durchführte, durch ein Transformer-Backbone.
Wie verwandelt ein DiT ein Bild in etwas, das ein Transformer verarbeiten kann?
Das latente Bild wird in kleine Patches unterteilt, und jeder Patch wird zu einem Token, analog zu Wörtern in einem Sprachmodell.
Was hat das ursprüngliche DiT-Papier zum Thema Skalierung herausgefunden?
Die DiT-Qualität verbessert sich auf saubere und vorhersehbare Weise, wenn Sie die Modellberechnung erhöhen und kleinere Patches verwenden und dabei den Skalierungsgesetzen folgen.
Wie integrieren DiTs normalerweise Konditionierungen wie den Zeitschritt und die Textaufforderung?
DiTs nutzen adaptive Schichtnormalisierung, um Skalierungs- und Verschiebungsparameter für Normalisierungsschichten aus dem Konditionierungssignal vorherzusagen.
Was bewirkt die „adaLN-zero“-Initialisierung?
adaLN-zero initialisiert die Modulation, sodass jeder Block zunächst als Identität fungiert, was das Training stabilisiert und verbessert.
Lerne weiter
Verwandte Leitfäden
Weitere Leitfäden zu diesem Thema ausgewählt