DalšíDalší průvodce
Pix2Pix Překlad z obrázku na obrázek
Vizuální AI
Vizuální průvodce AI
CycleGAN se učí překládat obrázky mezi dvěma vizuálními doménami (jako jsou koně k zebrám nebo fotografie k malbám), aniž by kdy potřeboval páry příkladů před a po.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Záleží na tom, protože shromažďování spárovaných tréninkových dat je často nemožné a CycleGAN odemyká přenos stylu pro chaotické datové sady v reálném světě.
CycleGAN, představený v roce 2017 společnostmi Zhu, Park, Isola a Efros, řeší nepárový překlad z obrázku do obrázku. Většina dřívějších metod (jako pix2pix) potřebovala přesné dvojice: stejná scéna jako fotografie a jako skica. CycleGAN odstraňuje tento požadavek pomocí dvou generátorů (G převádí doménu A na B, F převádí B zpět na A) a dvou diskriminátorů, které posuzují realismus v každé doméně. Průlom je ztráta konzistence cyklu: pokud přeložíte fotografii koně na zebru a přeložíte ji zpět, měli byste obnovit původního koně. Toto omezení brání generátoru ve vymýšlení libovolných výstupů a vynucuje si smysluplná mapování zachovávající obsah. Skvěle proměňuje letní krajiny na zimu, Monetovy obrazy na fotky a jablka na pomeranče, to vše se naučilo ze dvou nesouvisejících obrazů.
Převádění fotografií do malířského stylu Moneta, Van Gogha nebo Cezanna bez spárovaných příkladů malby fotografií
Převádění fotografií letní krajiny na zimní scény (a naopak) pro tvorbu filmových a herních prvků
Převádění skenů MRI na obrazy podobné CT v lékařském výzkumu, kde párové skenování pacientů není k dispozici
Přizpůsobení záběrů syntetického simulátoru jízdy tak, aby vypadalo fotorealisticky pro trénink vnímání autonomního vozidla
Základní myšlenka CycleGAN, konzistence cyklu, žije v moderní nepárové překladatelské práci, včetně metod založených na šíření, které vyměňují páteř GAN za odšumování modelů s ostřejšími a rozmanitějšími výstupy. Výzkumníci nyní aplikují nepárový překlad na lékařské zobrazování (syntetizující způsoby skenování), adaptaci domény pro samořídící simulaci do reálného přenosu a augmentaci dat. Očekávejte přísnější kontrolu nad tím, co se změní, oproti tomu, co zůstane neměnné, plus hybridní přístupy k omezením cyklu prolnutí s textově podmíněnou úpravou difúze.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
CycleGAN se učí překládat obrázky mezi dvěma vizuálními doménami (jako jsou koně k zebrám nebo fotografie k malbám), aniž by kdy potřeboval páry příkladů před a po. Záleží na tom, protože shromažďování spárovaných tréninkových dat je často nemožné a CycleGAN odemyká přenos stylu pro chaotické datové sady v reálném světě.
Hlavním přínosem CycleGAN je nepárový překlad, učení mapování mezi doménami ze dvou nesouvisejících kolekcí obrázků spíše než přesných párů.
Konzistence cyklu znamená, že F(G(x)) by se mělo rovnat x: kůň proměněný v zebru a hřbet by měl vypadat jako původní kůň.
CycleGAN používá dva generátory, jeden pro každý směr translace (A do B a B do A), plus dva diskriminátory.
CycleGAN používá PatchGAN diskriminátor, který posuzuje překrývající se patche jako skutečné nebo falešné, čímž podporuje místní realismus.
Ztráta identity penalizuje zbytečné změny, když je obrázek již v cílové doméně, což pomáhá zachovat barvy a odstín.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Pix2Pix Překlad z obrázku na obrázek
Vizuální AI