Penyongsangan Null-Teks
Penyongsangan teks nul ialah teknik yang membolehkan anda mengedit foto sebenar dengan model resapan dipacu teks seperti Stable Diffusion sambil mengekalkan semua yang anda tidak minta untuk diubah dengan sempurna.
Gambaran keseluruhan
It bridges the gap between generating fresh images and faithfully reconstructing and re-editing ones you already have.
Menyelam dalam
Untuk mengedit imej sebenar dengan model resapan, anda perlu menjalankan proses penjanaan ke belakang untuk mencari bunyi yang akan menciptanya semula. Kaedah pantas yang dipanggil penyongsangan DDIM melakukan ini tetapi hanyut, jadi pembinaan semula kelihatan sedikit salah. Panduan tanpa pengelas, yang meningkatkan seberapa kuat gesaan teks mengarahkan imej, menguatkan hanyut dengan teruk. Penyongsangan teks nol, yang diperkenalkan oleh penyelidik Google pada tahun 2022, membetulkan perkara ini dengan membiarkan model dibekukan dan sebaliknya mengoptimumkan pembenaman teks 'null' (kosong) yang digunakan dalam panduan, satu setiap langkah masa denoising. Ini menyematkan semula pembinaan semula pada imej asal supaya pengeditan segera kemudian, seperti menukar 'anjing' menjadi 'kucing', menukar kandungan yang dimaksudkan sahaja.
Wawasan Teknikal
Panduan tanpa pengelas mengekstrapolasi antara ramalan bersyarat (dengan gesaan) dan yang tidak bersyarat (dengan pembenaman gesaan kosong). Penyongsangan teks nul memastikan gesaan dan pemberat sebenar tetap, dan kecerunan hanya mengoptimumkan pembenaman kosong pada setiap kira-kira 50 langkah resapan supaya trajektori berpandu menjejaki laluan DDIM yang dikira sebelumnya. Hasilnya ialah pembinaan semula hampir-pixel-sempurna dengan kekuatan panduan penuh, meninggalkan gesaan bebas untuk memacu pengeditan yang tepat.
Kesan Strategik
Kelajuan dan skala
Visual AI boleh mengautomasikan tugas pemeriksaan, pengesanan dan penandaan pada skala.
Pilihan binaan
Pasukan kreatif boleh membuat prototaip konsep dengan lebih pantas dengan lebih sedikit semakan manual.
Pasukan dan aliran kerja
Operasi boleh menggunakan isyarat imej dan video yang sebelum ini sukar diproses.
Masa Depan Penyongsangan Null-Teks
Penyongsangan teks nol adalah perlahan kerana ia mengoptimumkan setiap imej, jadi kerja yang lebih baharu mendorong ke arah penyongsangan segera tanpa pengoptimuman. Kaedah seperti Penyongsangan Sejurus Negatif, Penyongsangan Terus dan pendekatan yang dibina berdasarkan ketekalan yang lebih pantas dan model beberapa langkah menyasarkan kesetiaan yang sama dalam satu hantaran ke hadapan. Jangkakan penyongsangan untuk menjadi langkah yang tenang dan terbina dalam dalam editor foto pengguna, membolehkan pengeditan imej sebenar yang boleh dipercayai tanpa pengguna melihat matematik.
Pelaksanaan Dunia Sebenar
Mengedit foto percutian sebenar supaya kereta yang diletakkan menjadi warna yang berbeza sementara jalan, orang ramai dan pencahayaan kekal tidak disentuh
Menukar baka haiwan peliharaan sebenar dalam potret keluarga tanpa mengubah latar belakang atau pose
Menukar musim gambar landskap (dedaun musim panas kepada musim luruh) dengan hanya mengedit perkataan gesaan
Menguasakan suntingan tempatan gaya 'prompt-to-prompt' pada imej yang dimuat naik pengguna dalam demo penyelidikan dan apl pengeditan
Risiko & Pengawal
Hak imej dan persetujuan boleh menjadi risiko undang-undang jika asalnya tidak jelas.
Prestasi model boleh berbeza mengikut pencahayaan, demografi dan persekitaran.
Positif palsu mungkin tidak disedari melainkan ambang keyakinan dipantau.
Hala Tuju Pelaksanaan
Tentukan kriteria penerimaan untuk ketepatan, ingatan semula dan kos ralat.
Uji dengan data yang sepadan dengan keadaan pengeluaran sebenar.
Tambahkan semakan manusia untuk ramalan keyakinan rendah atau berimpak tinggi.
Jejaki hanyut model dan sahkan semula selepas perubahan kamera atau set data.
Teruskan Meneroka
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Null-Text Inversion quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Panduan seterusnya
Buat-A-Video Teks-ke-Video
Soalan lazim
What is Null-Text Inversion?
Penyongsangan teks nul ialah teknik yang membolehkan anda mengedit foto sebenar dengan model resapan dipacu teks seperti Stable Diffusion sambil mengekalkan semua yang anda tidak minta untuk diubah dengan sempurna. Ia merapatkan jurang antara menjana imej baharu dan membina semula dan mengedit semula imej yang telah anda miliki dengan setia.
Apakah penyongsangan teks null sebenarnya dioptimumkan?
Ia mengekalkan model dan gesaan sebenar yang dibekukan dan hanya mengoptimumkan pembenaman teks tanpa syarat/null pada setiap langkah masa, yang pantas dan tidak merosakkan.
Mengapakah penyongsangan DDIM biasa menjadi tidak boleh dipercayai apabila digunakan untuk mengedit?
Penyongsangan DDIM mengumpul ralat kecil, dan panduan kukuh yang diperlukan untuk pengeditan yang baik memperbesarkan pembinaan semula yang hanyut dan merendahkan itu.
Apakah matlamat utama menyongsangkan imej sebenar sebelum mengeditnya?
Pengeditan memerlukan benih hingar dan trajektori yang membina semula yang asal, jadi perubahan segera mengubah kandungan yang dimaksudkan sahaja.
Secara kasar bagaimana penyongsangan teks nol mengendalikan pengoptimuman merentas proses penyebaran?
Benamkan teks nol yang berbeza ditala setiap langkah masa supaya laluan berpandu menjejaki trajektori penyongsangan yang diprakira dengan teliti.
Penyongsangan teks nul paling kerap dipasangkan dengan pendekatan penyuntingan yang manakah?
Sebaik sahaja imej sebenar disongsangkan dengan betul, kaedah didorong segera seperti gesaan kepada gesaan boleh membuat perubahan yang disasarkan dan disetempat.