LegközelebbKövetkező útmutató
Pix2Pix kép-kép fordítás
Vizuális AI
Vizuális MI ÚTMUTATÓ
A CycleGAN megtanulja lefordítani a képeket két vizuális tartomány között (például lovak zebrákká vagy fényképek festményekké), anélkül, hogy egymáshoz illesztett előtte-utána példapárokra lenne szüksége.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Ez azért fontos, mert a párosított edzési adatok gyűjtése gyakran lehetetlen, és a CycleGAN feloldja a stílusátvitelt a rendetlen valós adatkészletek számára.
A Zhu, Park, Isola és Efros által 2017-ben bevezetett CycleGAN a párosítatlan kép-kép fordítással foglalkozik. A legtöbb korábbi módszer (például a pix2pix) pontos párokat igényelt: ugyanazt a jelenetet fényképként és vázlatként. A CycleGAN eltávolítja ezt a követelményt két generátor (G az A tartományt B-vé alakítja, F a B-t vissza A-vá) és két diszkriminátor segítségével, amelyek mindegyik tartományban értékelik a realitást. Az áttörést a ciklus-konzisztencia elvesztése jelenti: ha egy lófotót zebrává fordítunk, majd visszafordítjuk, vissza kell állítani az eredeti lovat. Ez a megszorítás megakadályozza, hogy a generátor tetszőleges kimeneteket találjon ki, és értelmes, tartalommegőrző leképezéseket kényszerít ki. A nyári tájat híressé varázsolja téllé, a Monet-festményeket fényképekké és az almát narancsokká, mindezt két, egymással nem összefüggő képhalomból tanulták meg.
A fényképek Monet, Van Gogh vagy Cezanne festészeti stílusává alakítása páros fotófestési példák nélkül
Nyári tájképek átalakítása téli jelenetté (és fordítva) film- és játékelemek létrehozásához
Az MRI-vizsgálatok CT-szerű képekké alakítása az orvosi kutatásokban, ahol nem állnak rendelkezésre páros betegfelvételek
Szintetikus vezetési szimulátor felvételek adaptálása fotorealisztikus megjelenésre az autonóm jármű észlelésének képzéséhez
A CycleGAN alapötlete, a cikluskonzisztencia, tovább él a modern párosítatlan fordítási munkákban, beleértve a diffúzió alapú módszereket is, amelyek felcserélik a GAN gerinchálózatát az élesebb, változatosabb kimenetekkel rendelkező modellekre. A kutatók ma már párosítatlan fordítást alkalmaznak az orvosi képalkotásban (a szkennelési módok szintetizálása), a tartomány-adaptációban az önvezető szimulációhoz a valós átvitelhez és az adatkiegészítéshez. Arra számíthat, hogy szigorúbb szabályozást kaphat arról, hogy mi változik, és mi marad rögzített, valamint hibrid megközelítések keverik a cikluskorlátokat a szövegfeltételes diffúziós szerkesztéssel.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A CycleGAN megtanulja lefordítani a képeket két vizuális tartomány között (például lovak zebrákká vagy fényképek festményekké), anélkül, hogy egymáshoz illesztett előtte-utána példapárokra lenne szüksége. Ez azért fontos, mert a párosított edzési adatok gyűjtése gyakran lehetetlen, és a CycleGAN feloldja a stílusátvitelt a rendetlen valós adatkészletek számára.
A CycleGAN fő hozzájárulása a párosítatlan fordítás, amely a tartományok közötti leképezéseket tanulja meg két független képgyűjteményből, nem pedig pontos párokból.
A ciklus konzisztenciája azt jelenti, hogy F(G(x)) egyenlő x-szel: a zebrává változott lónak úgy kell kinéznie, mint az eredeti ló.
A CycleGAN két generátort használ, egyet minden fordítási irányhoz (A-tól B-ig és B-től A-ig), plusz két diszkriminátort.
A CycleGAN egy PatchGAN diszkriminátort használ, amely az átfedő foltokat valódinak vagy hamisnak ítéli meg, ösztönözve a helyi realizmust.
Az identitás elvesztése bünteti a szükségtelen változtatásokat, ha egy kép már a céltartományban van, így segít megőrizni a színeket és az árnyalatot.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Pix2Pix kép-kép fordítás
Vizuális AI