SeterusnyaPanduan seterusnya
Terjemahan Tidak Berpasangan CycleGAN
AI Visual
PANDUAN AI Visual
Terjemahan Imej-ke-Imej Pix2Pix
Pix2Pix ialah GAN bersyarat yang belajar untuk menterjemah satu jenis imej kepada yang lain, seperti menukar lakaran kepada foto atau peta menjadi paparan satelit.
Dengar panduan iniAI-diceritakan · ~2 min
Pada halaman ini2 min dibaca
Gambaran keseluruhan
It established a general recipe for paired image-to-image translation tasks.
Menyelam dalam
Diperkenalkan oleh Isola dan rakan sekerja pada 2017, Pix2Pix menganggap terjemahan sebagai penjanaan bersyarat: imej input itu sendiri adalah syaratnya. Penjananya ialah U-Net, penyahkod pengekod dengan sambungan langkau yang membawa butiran peringkat rendah seperti tepi terus dari input ke output. Diskriminator ialah PatchGAN yang menilai realisme dalam tompok tempatan kecil dan bukannya keseluruhan imej, yang menajamkan tekstur. Latihan menggabungkan kehilangan lawan dengan kehilangan L1 (perbezaan piksel) supaya output kekal realistik dan setia kepada sasaran. Tangkapannya ialah Pix2Pix memerlukan data latihan berpasangan, yang bermaksud contoh input-output dipadankan, yang memberi inspirasi kepada susulan seperti CycleGAN yang belajar daripada koleksi yang tidak berpasangan.
Pelaksanaan Dunia Sebenar
Menukar lakaran tepi lukisan tangan kepada objek fotorealistik seperti beg tangan atau kasut
Mengubah peta label semantik menjadi pemandangan jalanan yang realistik untuk reka bentuk dan simulasi
Mewarnakan gambar hitam-putih secara automatik
Menterjemah jubin peta udara kepada imejan satelit dan belakang
Masa Depan Terjemahan Imej-ke-Imej Pix2Pix
Pix2Pix membuktikan bahawa satu seni bina boleh menangani banyak masalah terjemahan, dan idea itu bertahan. Garis keturunan berjalan melalui pembelajaran CycleGAN yang tidak berpasangan, pengganti resolusi lebih tinggi seperti pix2pixHD, dan pendekatan berasaskan resapan dan ControlNet hari ini keadaan itu pada peta tepi, kedalaman atau pembahagian. Apabila model mendapat keutamaan yang lebih kukuh, keperluan data berpasangan melonggarkan dan terjemahan menjadi lebih tinggi dan lebih terkawal, tetapi Pix2Pix kekal sebagai garis dasar yang jelas dan ringan untuk tugasan berpasangan.
Mempraktikkannya
Mengapa ia penting
- Kelajuan dan skala. Visual AI boleh mengautomasikan tugas pemeriksaan, pengesanan dan penandaan pada skala.
- Pilihan binaan. Pasukan kreatif boleh membuat prototaip konsep dengan lebih pantas dengan lebih sedikit semakan manual.
- Pasukan dan aliran kerja. Operasi boleh menggunakan isyarat imej dan video yang sebelum ini sukar diproses.
Berhati-hati untuk
- Hak imej dan persetujuan boleh menjadi risiko undang-undang jika asalnya tidak jelas.
- Prestasi model boleh berbeza mengikut pencahayaan, demografi dan persekitaran.
- Positif palsu mungkin tidak disedari melainkan ambang keyakinan dipantau.
Langkah seterusnya
- Tentukan kriteria penerimaan untuk ketepatan, ingatan semula dan kos ralat.
- Uji dengan data yang sepadan dengan keadaan pengeluaran sebenar.
- Tambahkan semakan manusia untuk ramalan keyakinan rendah atau berimpak tinggi.
- Jejaki hanyut model dan sahkan semula selepas perubahan kamera atau set data.
Teruskan Meneroka
Newsletter percuma
Dapatkan taklimat AI harian
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Take the Pix2Pix Image-to-Image Translation quiz
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Soalan lazim
What is Pix2Pix Image-to-Image Translation?
Pix2Pix ialah GAN bersyarat yang belajar untuk menterjemah satu jenis imej kepada yang lain, seperti menukar lakaran kepada foto atau peta menjadi paparan satelit. Ia mewujudkan resipi umum untuk tugas terjemahan imej-ke-imej berpasangan.
Apakah jenis data latihan yang diperlukan oleh Pix2Pix?
Pix2Pix memerlukan pasangan yang sepadan (cth., lakaran dan foto sepadannya), itulah sebabnya CycleGAN kemudiannya dicipta untuk data yang tidak berpasangan.
Apakah seni bina penjana yang digunakan oleh Pix2Pix?
Pix2Pix menggunakan penyahkod pengekod U-Net yang sambungan langkaunya melepasi butiran peringkat rendah terus daripada input ke output.
Apakah yang dinilai oleh diskriminator PatchGAN dalam Pix2Pix?
PatchGAN menilai tampalan demi tampalan realisme, yang menggalakkan tekstur yang lebih tajam dan konsisten tempatan.
Mengapakah Pix2Pix menambah kerugian L1 bersama kerugian musuh?
The paired L1 term anchors pixelwise or low-frequency correctness; the PatchGAN adversarial objective encourages realistic high-frequency texture.
Mengapakah sambungan langkau U-Net sangat membantu untuk tugas terjemahan?
Input dan output selalunya berkongsi reka letak dan tepi, jadi langkau sambungan membawa butiran itu merentasi dan bukannya menyekatnya melalui kesesakan.
Teruskan belajar
Panduan berkaitan
Lebih banyak panduan dipilih untuk topik ini