DalšíDalší průvodce
Nespárovaný překlad CycleGAN
Vizuální AI
Vizuální průvodce AI
Pix2Pix je podmíněný GAN, který se učí překládat jeden typ obrázku na jiný, jako je přeměna náčrtu na fotografii nebo mapy na satelitní zobrazení.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Stanovilo obecný recept na spárované úlohy překladu z obrázku do obrázku.
Pix2Pix, který představila Isola a kolegové v roce 2017, považuje překlad za podmíněné generování: podmínkou je samotný vstupní obrázek. Jeho generátorem je U-Net, kodér-dekodér s přeskakovacími připojeními, které přenášejí nízkoúrovňové detaily jako hrany přímo ze vstupu na výstup. Diskriminátorem je PatchGAN, který posuzuje realismus spíše v malých lokálních záplatách než v celém obrázku, což zostřuje textury. Trénink kombinuje nepříznivou ztrátu se ztrátou L1 (rozdíl pixelů), takže výstupy zůstávají realistické a věrné cíli. Háček je v tom, že Pix2Pix potřebuje spárovaná trénovací data, což znamená shodné vstupně-výstupní příklady, které inspirovaly následné kroky, jako je CycleGAN, které se učí z nespárovaných kolekcí.
Převádění ručně kreslených náčrtů okrajů na fotorealistické objekty, jako jsou kabelky nebo boty
Přeměna sémantických map štítků na realistické pouliční scény pro návrh a simulaci
Automatické kolorování černobílých fotografií
Překlad dlaždic leteckých map do satelitních snímků a zpět
Pix2Pix dokázal, že jedna architektura dokáže zvládnout mnoho problémů s překladem a tato myšlenka přetrvává. Linie probíhá prostřednictvím nepárového učení CycleGAN, nástupců s vyšším rozlišením, jako je pix2pixHD, a dnešních přístupů založených na difúzi a ControlNet, které podmiňují mapy hran, hloubky nebo segmentace. Jak modely získávají silnější prioritu, požadavky na párová data se uvolňují a překlady se stávají věrnějšími a lépe ovladatelnými, ale Pix2Pix zůstává jasným a lehkým základem pro spárované úlohy.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Pix2Pix je podmíněný GAN, který se učí překládat jeden typ obrázku na jiný, jako je přeměna náčrtu na fotografii nebo mapy na satelitní zobrazení. Stanovilo obecný recept na spárované úlohy překladu z obrázku do obrázku.
Pix2Pix potřebuje spárované páry (např. náčrt a jeho odpovídající fotografii), a proto byl později vytvořen CycleGAN pro nespárovaná data.
Pix2Pix používá U-Net kodér-dekodér, jehož spojení přeskakování přenáší nízkoúrovňové detaily přímo ze vstupu na výstup.
PatchGAN posuzuje realismus patch po patchi, což podporuje ostřejší, lokálně konzistentnější textury.
The paired L1 term anchors pixelwise or low-frequency correctness; the PatchGAN adversarial objective encourages realistic high-frequency texture.
Vstup a výstup často sdílejí rozvržení a okraje, takže přeskočená připojení přenášejí tyto detaily napříč, místo aby je protlačovali úzkým hrdlem.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Nespárovaný překlad CycleGAN
Vizuální AI