SeterusnyaPanduan seterusnya
Rangkaian Transformer Spatial
AI Visual
PANDUAN AI Visual
Transformer Resapan
Diffusion Transformers (DiTs) menukar U-Net konvolusi di tengah-tengah penjana imej dan video untuk tulang belakang Transformer.
Dengar panduan iniAI-diceritakan · ~2 min
Pada halaman ini2 min dibaca
Gambaran keseluruhan
Seni bina ini menguasai sistem terkemuka seperti Stable Diffusion 3 dan OpenAI's Sora, dan ia berskala dengan sangat baik semasa anda menambah pengiraan.
Menyelam dalam
Model resapan menjana imej dengan bermula daripada hingar tulen dan secara berulang-ulang mengubahnya menjadi gambar yang koheren. Selama bertahun-tahun rangkaian yang melakukan denoising itu adalah U-Net, seni bina konvolusi. Diffusion Transformer, yang diperkenalkan oleh Peebles dan Xie pada 2022, menggantikan U-Net dengan Transformer. Imej itu mula-mula dimampatkan ke dalam ruang terpendam, dipecahkan kepada tompok kecil, dan setiap tampalan menjadi token, sama seperti perkataan dalam model bahasa. Transformer kemudian memproses token ini dengan perhatian diri pada setiap langkah denoising. Penemuan utama ialah prestasi DiT bertambah baik secara dijangka apabila anda meningkatkan saiz model dan mengurangkan saiz tampalan, mengikut undang-undang penskalaan yang bersih. Kebolehskalaan inilah sebabnya sistem teks-ke-video dan teks-ke-imej canggih telah sebahagian besarnya berhijrah ke tulang belakang Transformer.
Pelaksanaan Dunia Sebenar
Sora OpenAI menggunakan tulang belakang Transformer melalui tampalan ruang masa untuk menjana video berdurasi minit, ketepatan tinggi daripada gesaan teks.
Stable Diffusion 3 mengguna pakai Multimodal Diffusion Transformer (MMDiT) untuk menjajarkan imej yang dijana dengan lebih baik dengan penerangan teks terperinci.
Penyelidik menskalakan DiT kepada berbilion-bilion parameter dan memerhatikan kualiti imej bertambah baik secara dijangka, membimbing keputusan pengiraan belanjawan.
Sebuah studio menggunakan model berasaskan DiT untuk memanjangkan klip pendek, menganggap bingkai video tambahan sebagai token tampalan tambahan untuk dibunyikan.
Masa Depan Pengubah Resapan
Diffusion Transformers menjadi tulang belakang lalai untuk media generatif. Reka bentuk berasaskan token mereka menjadikannya semula jadi untuk menyatukan imej, video, dan juga penjanaan pelbagai mod di bawah satu seni bina berskala. Penyelidikan sedang mendorong ke arah video yang lebih panjang, resolusi yang lebih tinggi dan perhatian yang lebih cekap untuk menjinakkan kos kuadratik banyak token. Jangkakan penumpuan antara model bahasa dan visi, di mana resipi dan infrastruktur penskalaan Transformer yang serupa menyediakan kedua-duanya, mempercepatkan kemajuan dalam model dunia dan video interaktif.
Mempraktikkannya
Mengapa ia penting
- Kelajuan dan skala. Visual AI boleh mengautomasikan tugas pemeriksaan, pengesanan dan penandaan pada skala.
- Pilihan binaan. Pasukan kreatif boleh membuat prototaip konsep dengan lebih pantas dengan lebih sedikit semakan manual.
- Pasukan dan aliran kerja. Operasi boleh menggunakan isyarat imej dan video yang sebelum ini sukar diproses.
Berhati-hati untuk
- Hak imej dan persetujuan boleh menjadi risiko undang-undang jika asalnya tidak jelas.
- Prestasi model boleh berbeza mengikut pencahayaan, demografi dan persekitaran.
- Positif palsu mungkin tidak disedari melainkan ambang keyakinan dipantau.
Langkah seterusnya
- Tentukan kriteria penerimaan untuk ketepatan, ingatan semula dan kos ralat.
- Uji dengan data yang sepadan dengan keadaan pengeluaran sebenar.
- Tambahkan semakan manusia untuk ramalan keyakinan rendah atau berimpak tinggi.
- Jejaki hanyut model dan sahkan semula selepas perubahan kamera atau set data.
Teruskan Meneroka
Newsletter percuma
Dapatkan taklimat AI harian
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Take the Diffusion Transformers quiz
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Soalan lazim
Apakah Transformer Penyebaran?
Diffusion Transformers (DiTs) menukar U-Net konvolusi di tengah-tengah penjana imej dan video untuk tulang belakang Transformer. Seni bina ini memperkasakan sistem terkemuka seperti Stable Diffusion 3 dan OpenAI's Sora, dan ia berskala dengan sangat baik semasa anda menambah pengiraan.
Apakah komponen yang digantikan oleh Transformer Resapan berbanding model resapan tradisional?
DiT menggantikan U-Net, rangkaian konvolusi yang melakukan denoising, dengan tulang belakang Transformer.
Bagaimanakah DiT mengubah imej menjadi sesuatu yang boleh diproses oleh Transformer?
Imej terpendam dibahagikan kepada tompok kecil, dan setiap tampalan menjadi token, analog dengan perkataan dalam model bahasa.
Apakah yang ditemui oleh kertas DiT asal tentang penskalaan?
Kualiti DiT bertambah baik dengan cara yang bersih dan boleh diramal apabila anda meningkatkan pengiraan model dan menggunakan tampalan yang lebih kecil, mengikut undang-undang penskalaan.
Bagaimanakah DiT biasanya menyuntik pelaziman seperti langkah masa dan gesaan teks?
DiT menggunakan normalisasi lapisan penyesuaian untuk meramal skala dan parameter anjakan untuk lapisan normalisasi daripada isyarat penyaman.
Apakah yang dicapai oleh permulaan 'adaLN-sifar'?
adaLN-zero memulakan modulasi supaya setiap blok pada mulanya bertindak sebagai identiti, yang menstabilkan dan menambah baik latihan.
Teruskan belajar
Panduan berkaitan
Lebih banyak panduan dipilih untuk topik ini