ДаліНаступний посібник
Переклад Pix2Pix із зображення в зображення
Візуальний ШІ
Візуальний AI GUIDE
Непарний переклад CycleGAN
CycleGAN вчиться перекладати зображення між двома візуальними доменами (як-от коні в зебри або фотографії в картини) без необхідності зіставляти приклади пар до і після.
Послухайте цей посібникШІ-розказаний · ~2 min
На цій сторінці2 хвилини читання
Огляд
It matters because collecting paired training data is often impossible, and CycleGAN unlocks style transfer for messy real-world datasets.
Глибоке занурення
CycleGAN, представлений у 2017 році Чжу, Парком, Ізолою та Ефросом, займається непарним перекладом зображення в зображення. Більшість попередніх методів (наприклад, pix2pix) потребували точних пар: та сама сцена як фотографія та як ескіз. CycleGAN усуває цю вимогу за допомогою двох генераторів (G перетворює домен A на B, F перетворює B назад на A) і двох дискримінаторів, які оцінюють реалістичність у кожному домені. Проривом є втрата узгодженості циклу: якщо ви перекладете фотографію коня на зебру та перекладете її назад, ви повинні відновити оригінального коня. Це обмеження не дозволяє генератору винаходити довільні результати та змушує мати значущі відображення, що зберігають вміст. Він чудово перетворює літні пейзажі на зимові, картини Моне — на фотографії, а яблука — на апельсини, усе це вивчено з двох непов’язаних стосів зображень.
Реалізація в реальному світі
Перетворення фотографій у стилі живопису Моне, Ван Гога чи Сезанна без парних прикладів фотоживопису
Перетворення фотографій літніх пейзажів у зимові (і навпаки) для створення фільмів та ігор
Перетворення МРТ-сканувань на КТ-подібні зображення в медичних дослідженнях, де парні сканування пацієнтів недоступні
Адаптація синтетичного відео симулятора водіння, щоб виглядати фотореалістично для тренування сприйняття автономного автомобіля
Майбутнє непарного перекладу CycleGAN
Основна ідея CycleGAN, узгодженість циклів, продовжує жити в сучасній непарній роботі з перекладом, включаючи методи на основі дифузії, які замінюють магістралі GAN на моделі зменшення шуму з чіткішими та різноманітнішими результатами. Тепер дослідники застосовують непарний переклад до медичної візуалізації (синтезуючи модальності сканування), адаптацію домену для передачі симуляції самостійного водіння в реальну та доповнення даних. Очікуйте жорсткіший контроль над тим, що змінюється, а не те, що залишається фіксованим, а також гібридні підходи, що поєднують обмеження циклу змішування з редагуванням розповсюдження з умовами тексту.
Застосування на практиці
Чому це важливо
- Швидкість і масштаб. Візуальний штучний інтелект може автоматизувати масштабні завдання перевірки, виявлення та позначення тегами.
- Створіть вибір. Творчі групи можуть створювати прототипи концепцій швидше з меншою кількістю переглядів вручну.
- Команда та робочий процес. Операції можуть використовувати зображення та відеосигнали, які раніше було важко обробити.
Зверніть увагу на
- Права на зображення та згода можуть стати юридичними ризиками, якщо походження невідоме.
- Продуктивність моделі може відрізнятися залежно від освітлення, демографічних показників і середовища.
- Помилкові спрацьовування можуть залишитися непоміченими, якщо не відстежувати пороги довіри.
Наступні кроки
- Визначте критерії прийнятності для точності, відкликання та вартості помилок.
- Тестуйте з даними, які відповідають реальним умовам виробництва.
- Додайте перевірку людиною для прогнозів із низьким рівнем достовірності або високого впливу.
- Відстежуйте дрейф моделі та повторно перевіряйте після зміни камери або набору даних.
Продовжуйте досліджувати
Безплатний розсилок
Отримуйте щоденне зведення новин про ШІ
Три перевірені історії про ШІ щоробочого ранку, написані простою мовою. Безплатно назавжди, без реклами.
Один лист щотижня з понеділка по п'ятницю. Відписатися в один клік. Ми ніколи не продаємо та не передаємо вашу адресу.
Перевір себе
Take the CycleGAN Unpaired Translation quiz
Миттєва зворотна связь на кожну відповідь та сертифікат із перевіреним ідентифікатором, яким можна поділитися, після проходження курсу.
Підтримайте безплатну освіту у сфері ШІ. AI Understanding — це некомерційна організація 501(c)(3) — без реклами, без платних стін, назавжди. Зробіть пожертву
Часті запитання
What is CycleGAN Unpaired Translation?
CycleGAN вчиться перекладати зображення між двома візуальними доменами (як-от коні в зебри або фотографії в картини) без необхідності зіставляти приклади пар до і після. Це важливо, тому що збір парних тренувальних даних часто неможливий, а CycleGAN розблокує передачу стилів для безладних наборів даних реального світу.
Яку ключову проблему вирішує CycleGAN, яку не могли вирішити попередні методи, такі як pix2pix?
Основним внеском CycleGAN є непарний переклад, який вивчає зіставлення між доменами з двох непов’язаних колекцій зображень, а не з точних пар.
Що забезпечує втрата узгодженості циклу?
Узгодженість циклу означає, що F(G(x)) має дорівнювати x: кінь, перетворений на зебру, має виглядати як вихідний кінь.
Скільки генераторів використовує стандартний CycleGAN?
CycleGAN використовує два генератори, по одному для кожного напрямку трансляції (A до B і B до A), плюс два дискримінатори.
Який тип дискримінатора CycleGAN зазвичай використовує?
CycleGAN використовує дискримінатор PatchGAN, який розцінює патчі, що накладаються, як справжні чи підроблені, заохочуючи локальний реалізм.
Чому в CycleGAN іноді додається втрата ідентичності?
Втрата ідентичності карає за непотрібні зміни, коли зображення вже знаходиться в цільовому домені, допомагаючи зберегти кольори та відтінки.
Продовжуйте вчитися
Пов'язані посібники
Інші посібники, вибрані для цієї теми