SeterusnyaPanduan seterusnya
Terjemahan Imej-ke-Imej Pix2Pix
AI Visual
PANDUAN AI Visual
Terjemahan Tidak Berpasangan CycleGAN
CycleGAN belajar untuk menterjemah imej antara dua domain visual (seperti kuda kepada kuda belang, atau foto kepada lukisan) tanpa perlu dipadankan pasangan contoh sebelum dan selepas.
Dengar panduan iniAI-diceritakan · ~2 min
Pada halaman ini2 min dibaca
Gambaran keseluruhan
It matters because collecting paired training data is often impossible, and CycleGAN unlocks style transfer for messy real-world datasets.
Menyelam dalam
Diperkenalkan pada 2017 oleh Zhu, Park, Isola dan Efros, CycleGAN menangani terjemahan imej-ke-imej yang tidak berpasangan. Kebanyakan kaedah terdahulu (seperti pix2pix) memerlukan pasangan yang tepat: adegan yang sama seperti foto dan sebagai lakaran. CycleGAN mengalih keluar keperluan itu menggunakan dua penjana (G menukar domain A kepada B, F menukar B kembali kepada A) dan dua diskriminator yang menilai realisme dalam setiap domain. Kejayaan ini ialah kehilangan ketekalan kitaran: jika anda menterjemah foto kuda kepada kuda belang dan menterjemahkannya semula, anda harus mendapatkan semula kuda asal. Kekangan ini menghalang penjana daripada mencipta output sewenang-wenangnya dan memaksa pemetaan yang memelihara kandungan yang bermakna. Ia terkenal mengubah landskap musim panas menjadi musim sejuk, lukisan Monet menjadi foto, dan epal menjadi oren, semuanya dipelajari daripada dua timbunan imej yang tidak berkaitan.
Pelaksanaan Dunia Sebenar
Mengubah gambar menjadi gaya lukisan Monet, Van Gogh atau Cezanne tanpa contoh lukisan foto berpasangan
Menukar foto landskap musim panas kepada pemandangan musim sejuk (dan sebaliknya) untuk penciptaan aset filem dan permainan
Menterjemah imbasan MRI kepada imej seperti CT dalam penyelidikan perubatan di mana imbasan pesakit berpasangan tidak tersedia
Menyesuaikan rakaman simulator pemanduan sintetik agar kelihatan fotorealistik untuk melatih persepsi kenderaan autonomi
Masa Depan CycleGAN Terjemahan Tidak Berpasangan
Idea teras CycleGAN, ketekalan kitaran, terus hidup dalam kerja penterjemahan tidak berpasangan moden, termasuk kaedah berasaskan resapan yang menukar tulang belakang GAN untuk menolak model dengan output yang lebih tajam dan lebih pelbagai. Penyelidik kini menggunakan terjemahan tidak berpasangan pada pengimejan perubatan (mensintesis modaliti imbasan), penyesuaian domain untuk pemindahan simulasi memandu sendiri-ke-sebenar dan penambahan data. Jangkakan kawalan yang lebih ketat ke atas perkara yang berubah berbanding perkara yang kekal, serta pendekatan hibrid menggabungkan kekangan kitaran dengan pengeditan resapan bersyarat teks.
Mempraktikkannya
Mengapa ia penting
- Kelajuan dan skala. Visual AI boleh mengautomasikan tugas pemeriksaan, pengesanan dan penandaan pada skala.
- Pilihan binaan. Pasukan kreatif boleh membuat prototaip konsep dengan lebih pantas dengan lebih sedikit semakan manual.
- Pasukan dan aliran kerja. Operasi boleh menggunakan isyarat imej dan video yang sebelum ini sukar diproses.
Berhati-hati untuk
- Hak imej dan persetujuan boleh menjadi risiko undang-undang jika asalnya tidak jelas.
- Prestasi model boleh berbeza mengikut pencahayaan, demografi dan persekitaran.
- Positif palsu mungkin tidak disedari melainkan ambang keyakinan dipantau.
Langkah seterusnya
- Tentukan kriteria penerimaan untuk ketepatan, ingatan semula dan kos ralat.
- Uji dengan data yang sepadan dengan keadaan pengeluaran sebenar.
- Tambahkan semakan manusia untuk ramalan keyakinan rendah atau berimpak tinggi.
- Jejaki hanyut model dan sahkan semula selepas perubahan kamera atau set data.
Teruskan Meneroka
Newsletter percuma
Dapatkan taklimat AI harian
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Take the CycleGAN Unpaired Translation quiz
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Soalan lazim
What is CycleGAN Unpaired Translation?
CycleGAN belajar untuk menterjemah imej antara dua domain visual (seperti kuda kepada kuda belang, atau foto kepada lukisan) tanpa perlu dipadankan pasangan contoh sebelum dan selepas. Ini penting kerana pengumpulan data latihan berpasangan selalunya mustahil dan CycleGAN membuka kunci pemindahan gaya untuk set data dunia sebenar yang tidak kemas.
Apakah masalah utama yang CycleGAN selesaikan yang kaedah terdahulu seperti pix2pix tidak dapat?
Sumbangan utama CycleGAN ialah terjemahan tidak berpasangan, mempelajari pemetaan antara domain daripada dua koleksi imej yang tidak berkaitan dan bukannya pasangan tepat.
Apakah yang dikuatkuasakan oleh kerugian ketekalan kitaran?
Ketekalan kitaran bermakna F(G(x)) hendaklah sama dengan x: seekor kuda bertukar menjadi kuda belang dan belakang sepatutnya kelihatan seperti kuda asal.
Berapakah bilangan penjana yang digunakan oleh CycleGAN standard?
CycleGAN menggunakan dua penjana, satu untuk setiap arah terjemahan (A ke B dan B ke A), ditambah dua diskriminator.
Apakah jenis diskriminasi yang biasa digunakan CycleGAN?
CycleGAN menggunakan diskriminasi PatchGAN yang menilai patch bertindih sebagai nyata atau palsu, menggalakkan realisme tempatan.
Mengapakah kehilangan identiti kadangkala ditambah dalam CycleGAN?
Kehilangan identiti menghukum perubahan yang tidak perlu apabila imej sudah berada dalam domain sasaran, membantu mengekalkan warna dan warna.
Teruskan belajar
Panduan berkaitan
Lebih banyak panduan dipilih untuk topik ini