Inversi Null-Teks
Inversi teks nol adalah teknik yang memungkinkan Anda mengedit foto asli dengan model difusi berbasis teks seperti Difusi Stabil sambil menjaga segala sesuatu yang tidak Anda minta untuk diubah tetap utuh.
Ikhtisar
It bridges the gap between generating fresh images and faithfully reconstructing and re-editing ones you already have.
Menyelam Lebih Dalam
Untuk mengedit gambar nyata dengan model difusi, pertama-tama Anda harus menjalankan proses pembangkitan mundur untuk menemukan noise yang akan menciptakannya kembali. Metode cepat yang disebut inversi DDIM melakukan hal ini tetapi menyimpang, sehingga rekonstruksi terlihat sedikit salah. Panduan tanpa pengklasifikasi, yang meningkatkan seberapa kuat perintah teks mengarahkan gambar, memperkuat penyimpangan tersebut dengan buruk. Inversi teks nol, yang diperkenalkan oleh peneliti Google pada tahun 2022, memperbaikinya dengan membiarkan model tetap beku dan sebagai gantinya mengoptimalkan penyematan teks 'null' (kosong) yang digunakan dalam panduan, satu per langkah waktu denoising. Ini menyematkan rekonstruksi kembali ke gambar asli sehingga pengeditan selanjutnya, seperti mengubah 'anjing' menjadi 'kucing', hanya mengubah konten yang diinginkan.
Wawasan Teknis
Panduan bebas pengklasifikasi mengekstrapolasi antara prediksi bersyarat (dengan perintah) dan prediksi tanpa syarat (dengan penyematan perintah kosong). Inversi teks nol menjaga prompt dan bobot sebenarnya tetap, dan hanya mengoptimalkan gradien pada penyematan kosong di masing-masing dari sekitar 50 langkah difusi sehingga lintasan terpandu melacak jalur DDIM yang telah dihitung sebelumnya. Hasilnya adalah rekonstruksi mendekati piksel sempurna dengan kekuatan panduan penuh, sehingga perintah bebas untuk mendorong pengeditan yang presisi.
Dampak Strategis
Kecepatan dan skala
Visual AI dapat mengotomatiskan tugas inspeksi, deteksi, dan penandaan dalam skala besar.
Build choices
Tim kreatif dapat membuat prototipe konsep lebih cepat dengan lebih sedikit revisi manual.
Team and workflow
Pengoperasiannya dapat menggunakan sinyal gambar dan video yang sebelumnya sulit diproses.
Masa Depan Inversi Teks Null
Inversi teks nol lambat karena mengoptimalkan per gambar, sehingga pekerjaan yang lebih baru mendorong ke arah inversi instan dan bebas pengoptimalan. Metode seperti Inversi Negatif-Prompt, Inversi Langsung, dan pendekatan yang dibangun berdasarkan konsistensi yang lebih cepat dan model beberapa langkah bertujuan untuk mendapatkan fidelitas yang sama dalam satu umpan ke depan. Harapkan inversi menjadi langkah yang tenang dan terintegrasi dalam editor foto konsumen, memungkinkan pengeditan gambar nyata yang andal tanpa pengguna pernah melihat perhitungannya.
Implementasi Dunia Nyata
Mengedit foto liburan sungguhan sehingga mobil yang diparkir memiliki warna berbeda sementara jalanan, orang, dan penerangan tetap tidak tersentuh
Menukar ras hewan peliharaan asli dalam potret keluarga tanpa mengubah latar belakang atau pose
Mengubah musim pada foto lanskap (dedaunan musim panas ke musim gugur) hanya dengan mengedit kata prompt
Mendukung pengeditan lokal gaya 'prompt-to-prompt' pada gambar yang diunggah pengguna di dalam demo penelitian dan aplikasi pengeditan
Risiko & Pagar Pembatas
Hak citra dan persetujuan dapat menjadi risiko hukum jika asal usulnya tidak jelas.
Performa model dapat bervariasi berdasarkan pencahayaan, demografi, dan lingkungan.
Positif palsu mungkin tidak diketahui kecuali ambang batas keyakinan dipantau.
Peta Jalan Implementasi
Tentukan kriteria penerimaan untuk biaya presisi, penarikan kembali, dan kesalahan.
Uji dengan data yang sesuai dengan kondisi produksi sebenarnya.
Tambahkan tinjauan manusia untuk prediksi dengan tingkat keyakinan rendah atau dampak tinggi.
Lacak penyimpangan model dan validasi ulang setelah kamera atau kumpulan data berubah.
Terus Menjelajah
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Null-Text Inversion quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Buat-A-Video Teks-ke-Video
Pertanyaan yang sering diajukan
What is Null-Text Inversion?
Inversi teks nol adalah teknik yang memungkinkan Anda mengedit foto asli dengan model difusi berbasis teks seperti Difusi Stabil sambil menjaga segala sesuatu yang tidak Anda minta untuk diubah tetap utuh. Ini menjembatani kesenjangan antara menghasilkan gambar segar dan merekonstruksi serta mengedit ulang gambar yang sudah Anda miliki.
Apa yang sebenarnya dioptimalkan oleh inversi teks nol?
Itu membuat model dan prompt nyata tetap beku dan hanya mengoptimalkan penyematan teks tanpa syarat/null pada setiap langkah waktu, yang cepat dan tidak merusak.
Mengapa inversi DDIM biasa menjadi tidak dapat diandalkan saat digunakan untuk mengedit?
Pembalikan DDIM mengakumulasi kesalahan kecil, dan panduan kuat yang diperlukan untuk pengeditan yang baik memperbesar penyimpangan tersebut, sehingga menurunkan rekonstruksi.
Apa tujuan utama membalikkan gambar nyata sebelum mengeditnya?
Pengeditan memerlukan benih kebisingan dan lintasan yang merekonstruksi aslinya, jadi perubahan cepat hanya mengubah konten yang dimaksudkan.
Kira-kira bagaimana inversi teks nol menangani optimasi di seluruh proses difusi?
Penyematan teks nol yang berbeda disetel per langkah waktu sehingga jalur yang dipandu melacak secara dekat lintasan inversi yang telah dihitung sebelumnya.
Inversi teks nol paling sering dipasangkan dengan pendekatan pengeditan seperti apa?
Setelah gambar asli dibalik, metode yang digerakkan oleh prompt seperti prompt-to-prompt dapat membuat perubahan yang ditargetkan dan dilokalisasi.