Penyuntingan Arahan InstructPix2Pix
InstructPix2Pix membolehkan anda mengedit foto dengan menaip arahan biasa seperti 'jadikan musim sejuk' atau 'ubah kucing menjadi anjing', tiada topeng atau alat pemilihan diperlukan.
Gambaran keseluruhan
It taught a diffusion model to follow editing instructions directly.
Menyelam dalam
InstructPix2Pix (Brooks et al., 2023) ialah model resapan yang diperhalusi untuk mengambil imej input serta arahan teks dan mengeluarkan imej yang diedit dalam satu laluan ke hadapan. Helah pintarnya ialah data latihan: pengarang menggunakan GPT-3 untuk menjana pasangan kapsyen sebelum dan selepas, kemudian menggunakan Prompt-to-Prompt dengan Stable Diffusion untuk mensintesis padanan pasangan imej sebelum/selepas. Itu memberi mereka set data besar (imej asal, arahan, imej yang diedit) tiga kali ganda untuk dilatih, semuanya tanpa pelabelan manual. Kerana arahan menerangkan perubahan dan bukannya pemandangan penuh, model itu mengekalkan bahagian imej yang tidak disebut. Ia menggunakan dua skala panduan, satu untuk seberapa dekat ia mengikut arahan dan satu untuk seberapa setia ia melekat pada imej asal, membenarkan pengguna menukar kekuatan suntingan dengan kesetiaan.
Wawasan Teknikal
Keadaan model pada kedua-dua imej sumber dan arahan, menggunakan panduan bebas pengelas di sepanjang dua paksi. Satu skala menimbang arahan teks, satu lagi menimbang imej input. Menaikkan skala imej mengekalkan lebih banyak asal tetap utuh, manakala menaikkan skala teks menjadikan pengeditan lebih agresif. Panduan dwi ini membolehkan satu arahan generik boleh mengubah satu aspek dengan pasti sambil membiarkan foto yang lain dapat dikenali.
Kesan Strategik
Kelajuan dan skala
Visual AI boleh mengautomasikan tugas pemeriksaan, pengesanan dan penandaan pada skala.
Pilihan binaan
Pasukan kreatif boleh membuat prototaip konsep dengan lebih pantas dengan lebih sedikit semakan manual.
Pasukan dan aliran kerja
Operasi boleh menggunakan isyarat imej dan video yang sebelum ini sukar diproses.
Masa Depan Penyuntingan Arahan InstructPix2Pix
Pengeditan berasaskan arahan menjadi antara muka lalai untuk alatan imej, kini dimasukkan ke dalam apl arus perdana dan pengganti seperti MagicBrush dan editor berbilang pusingan yang muncul. Jangkakan pemeliharaan perincian halus yang lebih baik, pengendalian arahan spatial yang boleh dipercayai seperti 'gerakkan lampu ke kiri' dan sambungan lancar pada video, di mana satu arahan mengedit keseluruhan klip. Menggandingkan model ini dengan ejen bahasa boleh membolehkan anda menerangkan sesi pengeditan penuh secara perbualan.
Pelaksanaan Dunia Sebenar
Seorang blogger menaip 'tambah dedaunan musim luruh' untuk menguliti semula foto landskap musim panas untuk siaran bermusim.
Seorang penjual e-dagang mengarahkan 'tukar warna baju kepada navy' untuk menghasilkan varian warna produk dari satu pukulan.
Seorang guru mengedit foto bersejarah dengan 'warnakan ini' untuk menjadikan imej arkib hitam-putih jelas untuk pelajaran.
Pencipta meme mengarahkan 'letakkan cermin mata hitam pada anjing' tanpa menutup muka anjing itu secara manual.
Risiko & Pengawal
Hak imej dan persetujuan boleh menjadi risiko undang-undang jika asalnya tidak jelas.
Prestasi model boleh berbeza mengikut pencahayaan, demografi dan persekitaran.
Positif palsu mungkin tidak disedari melainkan ambang keyakinan dipantau.
Hala Tuju Pelaksanaan
Tentukan kriteria penerimaan untuk ketepatan, ingatan semula dan kos ralat.
Uji dengan data yang sepadan dengan keadaan pengeluaran sebenar.
Tambahkan semakan manusia untuk ramalan keyakinan rendah atau berimpak tinggi.
Jejaki hanyut model dan sahkan semula selepas perubahan kamera atau set data.
Teruskan Meneroka
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the InstructPix2Pix Instruction Editing quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Panduan seterusnya
Penyuntingan Interaktif DragGAN
Soalan lazim
What is InstructPix2Pix Instruction Editing?
InstructPix2Pix membolehkan anda mengedit foto dengan menaip arahan biasa seperti 'jadikan musim sejuk' atau 'ubah kucing menjadi anjing', tiada topeng atau alat pemilihan diperlukan. Ia mengajar model resapan untuk mengikuti arahan penyuntingan secara langsung.
Bagaimanakah anda memberitahu InstructPix2Pix apa yang perlu diubah?
Anda hanya menaip arahan seperti 'jadikan musim sejuk'; tiada topeng atau pemilihan wilayah diperlukan.
Bagaimanakah data latihan InstructPix2Pix dicipta?
Pengarang menggabungkan pasangan kapsyen yang dijana GPT-3 dengan sintesis imej Prompt-to-Prompt untuk membina tiga kali ganda secara automatik.
Apakah yang dikawal oleh dua skala panduan InstructPix2Pix?
Satu skala mengawal seberapa kuat pengeditan mengikut arahan; yang lain mengawal berapa banyak imej sumber yang dipelihara.
Mengapa model cenderung untuk meninggalkan bahagian imej yang tidak disebut sahaja?
Arahan menyasarkan perubahan tertentu, jadi model mengekalkan kawasan yang tidak disebut oleh arahan.
Berapa banyak hantaran hadapan yang diperlukan oleh InstructPix2Pix untuk menghasilkan suntingan?
Ia adalah model resapan bersyarat tunggal yang mengambil imej dan arahan bersama-sama dan menghasilkan pengeditan.