NastępnyNastępny poradnik
Tłumaczenie obrazu na obraz Pix2Pix
Wizualna sztuczna inteligencja
PRZEWODNIK Wizualnej AI
Tłumaczenie niesparowane CycleGAN
CycleGAN uczy się tłumaczyć obrazy pomiędzy dwiema domenami wizualnymi (takimi jak konie na zebry lub zdjęcia na obrazy) bez konieczności dopasowywania par przykładów przed i po.
Posłuchaj tego przewodnikaOpowiadane przez sztuczną inteligencję · ~2 min
Na tej stronie2 minuty czytania
Przegląd
Ma to znaczenie, ponieważ zbieranie sparowanych danych treningowych jest często niemożliwe, a CycleGAN odblokowuje transfer stylu dla chaotycznych rzeczywistych zbiorów danych.
Głębokie nurkowanie
Wprowadzony w 2017 roku przez Zhu, Park, Isola i Efros, CycleGAN zajmuje się niesparowaną translacją obrazu na obraz. Większość wcześniejszych metod (takich jak pix2pix) wymagała dokładnych par: tej samej sceny jako zdjęcia i szkicu. CycleGAN eliminuje ten wymóg za pomocą dwóch generatorów (G konwertuje domenę A na B, F konwertuje B z powrotem na A) i dwóch dyskryminatorów oceniających realizm w każdej domenie. Przełomem jest utrata spójności cyklu: jeśli przetłumaczysz zdjęcie konia na zebrę i przetłumaczysz je z powrotem, powinieneś odzyskać oryginalnego konia. To ograniczenie powstrzymuje generator przed wymyślaniem dowolnych wyników i wymusza znaczące, zachowujące treść odwzorowania. Słynie z zamiany letnich krajobrazów w zimę, obrazów Moneta w zdjęcia i jabłek w pomarańcze, a wszystko to wyciągnięte z dwóch niepowiązanych ze sobą stosów obrazów.
Implementacja w świecie rzeczywistym
Przekształcanie fotografii w styl malarski Moneta, Van Gogha czy Cezanne’a bez łączenia przykładów fotomalowania
Konwertowanie zdjęć krajobrazów letnich na sceny zimowe (i odwrotnie) na potrzeby tworzenia zasobów filmowych i gier
Tłumaczenie skanów MRI na obrazy przypominające tomografię komputerową w badaniach medycznych, gdzie niedostępne są sparowane skany pacjentów
Dostosowywanie syntetycznego materiału filmowego z symulatora jazdy tak, aby wyglądał fotorealistycznie w celu szkolenia percepcji pojazdów autonomicznych
Przyszłość tłumaczenia niesparowanego CycleGAN
Podstawowa idea CycleGAN, czyli spójność cykli, jest nadal obecna w nowoczesnych pracach związanych z tłumaczeniem niesparowanym, w tym w metodach opartych na dyfuzji, które zamieniają szkielety GAN w celu odszumiania modeli z ostrzejszymi, bardziej zróżnicowanymi wynikami. Naukowcy stosują obecnie translację niesparowaną w obrazowaniu medycznym (syntetyzowanie modalności skanowania), adaptację domeny na potrzeby automatycznego przesyłania symulacji do rzeczywistości rzeczywistej oraz zwiększanie ilości danych. Oczekuj ściślejszej kontroli nad tym, co się zmieni, a co niezmienione, a także podejścia hybrydowego łączącego ograniczenia cyklu z edycją dyfuzji uwarunkowaną tekstem.
Wdrażanie tego w praktykę
Dlaczego to ma znaczenie
- Szybkość i skala. Wizualna sztuczna inteligencja może automatyzować zadania inspekcji, wykrywania i znakowania na dużą skalę.
- Buduj wybory. Zespoły kreatywne mogą szybciej prototypować koncepcje przy mniejszej liczbie ręcznych poprawek.
- Zespół i przepływ pracy. Operacje mogą wykorzystywać sygnały obrazu i wideo, które wcześniej były trudne do przetworzenia.
Uważaj na
- Prawa do wizerunku i zgoda mogą stanowić ryzyko prawne, jeśli pochodzenie jest niejasne.
- Wydajność modelu może się różnić w zależności od oświetlenia, demografii i środowiska.
- Fałszywie pozytywne wyniki mogą pozostać niezauważone, chyba że monitorowane są progi ufności.
Kolejne kroki
- Zdefiniuj kryteria akceptacji dotyczące kosztów precyzji, wycofania i błędów.
- Przetestuj na danych odpowiadających rzeczywistym warunkom produkcyjnym.
- Dodaj weryfikację manualną, aby prognozy były mało pewne lub miały duży wpływ.
- Śledź dryf modelu i przeprowadzaj ponowną weryfikację po zmianie kamery lub zbioru danych.
Odkrywaj dalej
Darmowy newsletter
Otrzymuj codzienne podsumowanie AI
Trzy zweryfikowane historie AI każdego poranka w dni robocze, napisane prostym angielskim. Bezpłatne na zawsze, bez reklam.
Jedno e‑mail każdego dnia roboczego. Wypisz się jednym kliknięciem. Nigdy nie sprzedajemy ani nie udostępniamy Twojego adresu.
Sprawdź się
Take the CycleGAN Unpaired Translation quiz
Natychmiastowa informacja zwrotna na każde pytanie oraz udostępnialny certyfikat z weryfikowalnym ID po zaliczeniu kursu.
Wspieraj darmową edukację AI. AI Understanding jest organizacją non-profit 501(c)(3) — bez reklam, bez płatnej ściany, zawsze. Przekaż darowiznę
Często zadawane pytania
Czym jest CycleGAN Unpaired Translation?
CycleGAN uczy się tłumaczyć obrazy pomiędzy dwiema domenami wizualnymi (takimi jak konie na zebry lub zdjęcia na obrazy) bez konieczności dopasowywania par przykładów przed i po. Ma to znaczenie, ponieważ zbieranie sparowanych danych treningowych jest często niemożliwe, a CycleGAN umożliwia transfer stylu w przypadku nieuporządkowanych zbiorów danych ze świata rzeczywistego.
Jaki kluczowy problem rozwiązuje CycleGAN, którego nie rozwiązały wcześniejsze metody, takie jak pix2pix?
Głównym wkładem CycleGAN jest tłumaczenie niesparowane, polegające na uczeniu się mapowań między domenami z dwóch niepowiązanych kolekcji obrazów, a nie z dokładnych par.
Co wymusza utratę spójności cyklu?
Spójność cyklu oznacza, że F(G(x)) powinno być równe x: koń zamieniony w zebrę, a plecy powinny wyglądać jak koń oryginalny.
Z ilu generatorów korzysta standardowy CycleGAN?
CycleGAN wykorzystuje dwa generatory, po jednym dla każdego kierunku translacji (A do B i B do A), plus dwa dyskryminatory.
Jakiego rodzaju dyskryminator zwykle używa CycleGAN?
CycleGAN wykorzystuje dyskryminator PatchGAN, który ocenia nakładające się łaty jako prawdziwe lub fałszywe, zachęcając do lokalnego realizmu.
Dlaczego w CycleGAN czasami dodawana jest utrata tożsamości?
Utrata tożsamości karze niepotrzebne zmiany, gdy obraz znajduje się już w domenie docelowej, pomagając zachować kolory i odcień.
Ucz się dalej
Powiązane przewodniki
Wybrano więcej przewodników na ten temat