Penyuntingan Interaktif DragGAN
DragGAN membolehkan anda mengedit imej dengan menyeret titik secara literal: ambil tempat dan seretnya ke sasaran, dan gambar berubah bentuk secara realistik, menukar pose, bentuk atau ekspresi.
Gambaran keseluruhan
It matters because it makes precise, intuitive image manipulation possible without sliders, masks, or text prompts.
Menyelam dalam
DragGAN, daripada Pan, Tewari, Leimkuhler dan rakan sekerja di Max Planck dan rakan kongsi (SIGGRAPH 2023), memperkenalkan pengeditan interaktif berasaskan titik bagi imej janaan GAN. Pengguna meletakkan satu atau lebih mata 'pemegang' pada imej dan titik 'sasaran' yang sepadan di mana mereka harus bergerak. DragGAN kemudiannya menggeser kod pendam secara berulang supaya kandungan di bawah setiap pemegang meluncur ke arah sasarannya manakala imej yang lain kekal koheren. Anda boleh memanjangkan kaki haiwan, membuat seseorang tersenyum, memutarkan kereta atau menukar kontur landskap, semuanya dengan menyeret. Yang penting, suntingan menghormati manifold imej yang dipelajari, jadi hasil tetap realistik daripada memburukkan piksel. Topeng pilihan mengehadkan kawasan mana yang dibenarkan untuk bergerak, memberikan kawalan setempat yang baik.
Wawasan Teknikal
DragGAN berfungsi dalam ruang terpendam dan ciri GAN yang telah dilatih. Ia menggunakan dua langkah berselang-seli: penyeliaan gerakan, yang mengalihkan kod terpendam supaya ciri-ciri berhampiran setiap pemegang bergerak ke arah sasaran, dan penjejakan titik, yang menempatkan semula pemegang untuk mengikuti ciri yang dilabuhkan kepada menggunakan carian jiran terdekat dalam peta ciri. Mengulangi langkah-langkah ini membawa imej sepanjang manifold GAN, menghasilkan ubah bentuk yang licin dan realistik.
Kesan Strategik
Kelajuan dan skala
Visual AI boleh mengautomasikan tugas pemeriksaan, pengesanan dan penandaan pada skala.
Pilihan binaan
Pasukan kreatif boleh membuat prototaip konsep dengan lebih pantas dengan lebih sedikit semakan manual.
Pasukan dan aliran kerja
Operasi boleh menggunakan isyarat imej dan video yang sebelum ini sukar diproses.
Masa Depan Penyuntingan Interaktif DragGAN
DragGAN mencetuskan kerja susulan pantas yang membawa kawalan berasaskan seretan kepada model penyebaran (seperti DragDiffusion dan FreeDrag), yang mengendalikan foto sebenar dan kandungan sewenang-wenangnya dengan lebih mantap daripada GAN sahaja. Jangkakan pengeditan seretan menjadi alat standard dalam perisian kreatif, digabungkan dengan kawalan teks dan rantau serta diperluaskan kepada video dan 3D supaya pengguna boleh menimbulkan objek merentasi bingkai atau membentuk semula jejaring secara interaktif, sambil mengekalkan fotorealisme.
Pelaksanaan Dunia Sebenar
Melaraskan ekspresi potret, arah pandangan atau gaya rambut dengan menyeret mata muka
Menukar pose dan orientasi haiwan atau kenderaan, seperti memutarkan kereta atau mengubah kedudukan kepala singa
Membentuk semula foto produk (memanjangkan, melebarkan atau meletakkan semula objek) untuk mockup reka bentuk
Memperhalusi imej landskap atau fesyen dengan menyeret kontur, seperti mengubah bentuk gunung atau pakaian yang sesuai
Risiko & Pengawal
Hak imej dan persetujuan boleh menjadi risiko undang-undang jika asalnya tidak jelas.
Prestasi model boleh berbeza mengikut pencahayaan, demografi dan persekitaran.
Positif palsu mungkin tidak disedari melainkan ambang keyakinan dipantau.
Hala Tuju Pelaksanaan
Tentukan kriteria penerimaan untuk ketepatan, ingatan semula dan kos ralat.
Uji dengan data yang sepadan dengan keadaan pengeluaran sebenar.
Tambahkan semakan manusia untuk ramalan keyakinan rendah atau berimpak tinggi.
Jejaki hanyut model dan sahkan semula selepas perubahan kamera atau set data.
Teruskan Meneroka
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the DragGAN Interactive Editing quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Panduan seterusnya
Penyuntingan Satu Tangkapan Tune-A-Video
Soalan lazim
What is DragGAN Interactive Editing?
DragGAN membolehkan anda mengedit imej dengan menyeret titik secara literal: ambil tempat dan seretnya ke sasaran, dan gambar berubah bentuk secara realistik, menukar pose, bentuk atau ekspresi. Ia penting kerana ia membolehkan manipulasi imej yang tepat dan intuitif tanpa peluncur, topeng atau gesaan teks.
Bagaimanakah pengguna mengedit imej dalam DragGAN?
Suntingan DragGAN berfungsi dengan meletakkan mata pemegang dan menyeretnya ke lokasi sasaran, mengubah bentuk imej dengan sewajarnya.
Apakah dua langkah teras berselang-seli DragGAN?
DragGAN menggantikan penyeliaan gerakan (ciri bergerak ke arah sasaran) dan penjejakan titik (penangan mencari semula), berulang sehingga selesai.
Mengapakah suntingan DragGAN kelihatan realistik dan bukannya dicalit?
Oleh kerana manipulasi berlaku dalam ruang terpendam GAN yang telah dilatih, output kekal pada manifold imej realistik.
Apakah yang dikawal oleh topeng pilihan dalam DragGAN?
Topeng membenarkan pengguna mengehadkan pengeditan pada kawasan yang dipilih supaya imej yang lain kekal tetap.
DragGAN telah dipersembahkan di tempat mana pada tahun 2023?
DragGAN telah diterbitkan di SIGGRAPH 2023, persidangan grafik komputer terkemuka.