Tłumaczenie niesparowane CycleGAN
CycleGAN uczy się tłumaczyć obrazy pomiędzy dwiema domenami wizualnymi (takimi jak konie na zebry lub zdjęcia na obrazy) bez konieczności dopasowywania par przykładów przed i po.
Przegląd
Ma to znaczenie, ponieważ zbieranie sparowanych danych treningowych jest często niemożliwe, a CycleGAN odblokowuje transfer stylu dla chaotycznych rzeczywistych zbiorów danych.
Głębokie nurkowanie
Wprowadzony w 2017 roku przez Zhu, Park, Isola i Efros, CycleGAN zajmuje się niesparowaną translacją obrazu na obraz. Większość wcześniejszych metod (takich jak pix2pix) wymagała dokładnych par: tej samej sceny jako zdjęcia i szkicu. CycleGAN eliminuje ten wymóg za pomocą dwóch generatorów (G konwertuje domenę A na B, F konwertuje B z powrotem na A) i dwóch dyskryminatorów oceniających realizm w każdej domenie. Przełomem jest utrata spójności cyklu: jeśli przetłumaczysz zdjęcie konia na zebrę i przetłumaczysz je z powrotem, powinieneś odzyskać oryginalnego konia. To ograniczenie powstrzymuje generator przed wymyślaniem dowolnych wyników i wymusza znaczące, zachowujące treść odwzorowania. Słynie z zamiany letnich krajobrazów w zimę, obrazów Moneta w zdjęcia i jabłek w pomarańcze, a wszystko to wyciągnięte z dwóch niepowiązanych ze sobą stosów obrazów.
Wgląd techniczny
CycleGAN łączy stratę kontradyktoryjną z utratą spójności cyklu. Każdy generator ma do czynienia z dyskryminatorem PatchGAN, który klasyfikuje nakładające się fragmenty obrazu jako prawdziwe lub fałszywe, zamiast oceniać cały obraz. Utrata cyklu wymusza F(G(x)) wokół x i G(F(y)) wokół y przy użyciu kary za rekonstrukcję L1. Opcjonalna utrata tożsamości pozwala zachować kolor, gdy obraz należy już do domeny docelowej. Obydwa generatory ćwiczą jednocześnie, ucząc się odwrotnych mapowań, które utrzymują strukturę w nienaruszonym stanie.
Wpływ strategiczny
Szybkość i skala
Wizualna sztuczna inteligencja może automatyzować zadania inspekcji, wykrywania i znakowania na dużą skalę.
Buduj wybory
Zespoły kreatywne mogą szybciej prototypować koncepcje przy mniejszej liczbie ręcznych poprawek.
Zespół i przepływ pracy
Operacje mogą wykorzystywać sygnały obrazu i wideo, które wcześniej były trudne do przetworzenia.
Przyszłość tłumaczenia niesparowanego CycleGAN
Podstawowa idea CycleGAN, czyli spójność cykli, jest nadal obecna w nowoczesnych pracach związanych z tłumaczeniem niesparowanym, w tym w metodach opartych na dyfuzji, które zamieniają szkielety GAN w celu odszumiania modeli z ostrzejszymi, bardziej zróżnicowanymi wynikami. Naukowcy stosują obecnie translację niesparowaną w obrazowaniu medycznym (syntetyzowanie modalności skanowania), adaptację domeny na potrzeby automatycznego przesyłania symulacji do rzeczywistości rzeczywistej oraz zwiększanie ilości danych. Oczekuj ściślejszej kontroli nad tym, co się zmieni, a co niezmienione, a także podejścia hybrydowego łączącego ograniczenia cyklu z edycją dyfuzji uwarunkowaną tekstem.
Implementacja w świecie rzeczywistym
Przekształcanie fotografii w styl malarski Moneta, Van Gogha czy Cezanne’a bez łączenia przykładów fotomalowania
Konwertowanie zdjęć krajobrazów letnich na sceny zimowe (i odwrotnie) na potrzeby tworzenia zasobów filmowych i gier
Tłumaczenie skanów MRI na obrazy przypominające tomografię komputerową w badaniach medycznych, gdzie niedostępne są sparowane skany pacjentów
Dostosowywanie syntetycznego materiału filmowego z symulatora jazdy tak, aby wyglądał fotorealistycznie w celu szkolenia percepcji pojazdów autonomicznych
Zagrożenia i poręcze
Prawa do wizerunku i zgoda mogą stanowić ryzyko prawne, jeśli pochodzenie jest niejasne.
Wydajność modelu może się różnić w zależności od oświetlenia, demografii i środowiska.
Fałszywie pozytywne wyniki mogą pozostać niezauważone, chyba że monitorowane są progi ufności.
Plan wdrożenia
Zdefiniuj kryteria akceptacji dotyczące kosztów precyzji, wycofania i błędów.
Przetestuj na danych odpowiadających rzeczywistym warunkom produkcyjnym.
Dodaj weryfikację manualną, aby prognozy były mało pewne lub miały duży wpływ.
Śledź dryf modelu i przeprowadzaj ponowną weryfikację po zmianie kamery lub zbioru danych.
Odkrywaj dalej
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the CycleGAN Unpaired Translation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Następny poradnik
Tłumaczenie obrazu na obraz Pix2Pix
Często zadawane pytania
Czym jest CycleGAN Unpaired Translation?
CycleGAN uczy się tłumaczyć obrazy pomiędzy dwiema domenami wizualnymi (takimi jak konie na zebry lub zdjęcia na obrazy) bez konieczności dopasowywania par przykładów przed i po. Ma to znaczenie, ponieważ zbieranie sparowanych danych treningowych jest często niemożliwe, a CycleGAN umożliwia transfer stylu w przypadku nieuporządkowanych zbiorów danych ze świata rzeczywistego.
Jaki kluczowy problem rozwiązuje CycleGAN, którego nie rozwiązały wcześniejsze metody, takie jak pix2pix?
Głównym wkładem CycleGAN jest tłumaczenie niesparowane, polegające na uczeniu się mapowań między domenami z dwóch niepowiązanych kolekcji obrazów, a nie z dokładnych par.
Co wymusza utratę spójności cyklu?
Spójność cyklu oznacza, że F(G(x)) powinno być równe x: koń zamieniony w zebrę, a plecy powinny wyglądać jak koń oryginalny.
Z ilu generatorów korzysta standardowy CycleGAN?
CycleGAN wykorzystuje dwa generatory, po jednym dla każdego kierunku translacji (A do B i B do A), plus dwa dyskryminatory.
Jakiego rodzaju dyskryminator zwykle używa CycleGAN?
CycleGAN wykorzystuje dyskryminator PatchGAN, który ocenia nakładające się łaty jako prawdziwe lub fałszywe, zachęcając do lokalnego realizmu.
Dlaczego w CycleGAN czasami dodawana jest utrata tożsamości?
Utrata tożsamości karze niepotrzebne zmiany, gdy obraz znajduje się już w domenie docelowej, pomagając zachować kolory i odcień.