Vizuális MI ÚTMUTATÓ

CycleGAN párosítatlan fordítás

A CycleGAN megtanulja lefordítani a képeket két vizuális tartomány között (például lovak zebrákká vagy fényképek festményekké), anélkül, hogy egymáshoz illesztett előtte-utána példapárokra lenne szüksége.

Hallgassa meg ezt az útmutatótAI-narrált · ~2 min

Ezen az oldalon2 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. A CycleGAN párosítatlan fordítás jövője
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

Ez azért fontos, mert a párosított edzési adatok gyűjtése gyakran lehetetlen, és a CycleGAN feloldja a stílusátvitelt a rendetlen valós adatkészletek számára.

Mély merülés

A Zhu, Park, Isola és Efros által 2017-ben bevezetett CycleGAN a párosítatlan kép-kép fordítással foglalkozik. A legtöbb korábbi módszer (például a pix2pix) pontos párokat igényelt: ugyanazt a jelenetet fényképként és vázlatként. A CycleGAN eltávolítja ezt a követelményt két generátor (G az A tartományt B-vé alakítja, F a B-t vissza A-vá) és két diszkriminátor segítségével, amelyek mindegyik tartományban értékelik a realitást. Az áttörést a ciklus-konzisztencia elvesztése jelenti: ha egy lófotót zebrává fordítunk, majd visszafordítjuk, vissza kell állítani az eredeti lovat. Ez a megszorítás megakadályozza, hogy a generátor tetszőleges kimeneteket találjon ki, és értelmes, tartalommegőrző leképezéseket kényszerít ki. A nyári tájat híressé varázsolja téllé, a Monet-festményeket fényképekké és az almát narancsokká, mindezt két, egymással nem összefüggő képhalomból tanulták meg.

Valós megvalósítás

A fényképek Monet, Van Gogh vagy Cezanne festészeti stílusává alakítása páros fotófestési példák nélkül

Nyári tájképek átalakítása téli jelenetté (és fordítva) film- és játékelemek létrehozásához

Az MRI-vizsgálatok CT-szerű képekké alakítása az orvosi kutatásokban, ahol nem állnak rendelkezésre páros betegfelvételek

Szintetikus vezetési szimulátor felvételek adaptálása fotorealisztikus megjelenésre az autonóm jármű észlelésének képzéséhez

A CycleGAN párosítatlan fordítás jövője

A CycleGAN alapötlete, a cikluskonzisztencia, tovább él a modern párosítatlan fordítási munkákban, beleértve a diffúzió alapú módszereket is, amelyek felcserélik a GAN gerinchálózatát az élesebb, változatosabb kimenetekkel rendelkező modellekre. A kutatók ma már párosítatlan fordítást alkalmaznak az orvosi képalkotásban (a szkennelési módok szintetizálása), a tartomány-adaptációban az önvezető szimulációhoz a valós átvitelhez és az adatkiegészítéshez. Arra számíthat, hogy szigorúbb szabályozást kaphat arról, hogy mi változik, és mi marad rögzített, valamint hibrid megközelítések keverik a cikluskorlátokat a szövegfeltételes diffúziós szerkesztéssel.

A gyakorlatba ültetés

Miért számít

  • Sebesség és méretarány. A vizuális AI képes automatizálni az ellenőrzési, észlelési és címkézési feladatokat nagy léptékben.
  • Építési lehetőségek. A kreatív csapatok gyorsabban prototípusokat készíthetnek a koncepciókból, kevesebb kézi átdolgozással.
  • Csapat és munkafolyamat. A műveletek olyan kép- és videojeleket használhatnak, amelyeket korábban nehéz volt feldolgozni.

Vigyázz

  • A képhez fűződő jogok és a beleegyezés jogi kockázatot jelenthet, ha a származás nem egyértelmű.
  • A modell teljesítménye a világítástól, a demográfiai adatoktól és a környezettől függően változhat.
  • A hamis pozitívumok észrevétlenek maradhatnak, hacsak nem figyelik a megbízhatósági küszöböket.

Következő lépések

  1. Határozza meg a pontosság, a visszahívás és a hibaköltségek elfogadási kritériumait.
  2. Tesztelje a valós gyártási feltételeknek megfelelő adatokkal.
  3. Adjon hozzá emberi felülvizsgálatot az alacsony megbízhatóságú vagy nagy hatású előrejelzésekhez.
  4. A modell elsodródásának nyomon követése és újbóli érvényesítése a kamera vagy az adatkészlet módosítása után.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the CycleGAN Unpaired Translation quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mi az a CycleGAN párosítatlan fordítás?

A CycleGAN megtanulja lefordítani a képeket két vizuális tartomány között (például lovak zebrákká vagy fényképek festményekké), anélkül, hogy egymáshoz illesztett előtte-utána példapárokra lenne szüksége. Ez azért fontos, mert a párosított edzési adatok gyűjtése gyakran lehetetlen, és a CycleGAN feloldja a stílusátvitelt a rendetlen valós adatkészletek számára.

Milyen kulcsproblémát old meg a CycleGAN, amelyet a korábbi módszerek, például a pix2pix nem tudtak megoldani?

A CycleGAN fő hozzájárulása a párosítatlan fordítás, amely a tartományok közötti leképezéseket tanulja meg két független képgyűjteményből, nem pedig pontos párokból.

Mit kényszerít ki a ciklus-konzisztencia veszteség?

A ciklus konzisztenciája azt jelenti, hogy F(G(x)) egyenlő x-szel: a zebrává változott lónak úgy kell kinéznie, mint az eredeti ló.

Hány generátort használ egy szabványos CycleGAN?

A CycleGAN két generátort használ, egyet minden fordítási irányhoz (A-tól B-ig és B-től A-ig), plusz két diszkriminátort.

Milyen típusú diszkriminátort használ általában a CycleGAN?

A CycleGAN egy PatchGAN diszkriminátort használ, amely az átfedő foltokat valódinak vagy hamisnak ítéli meg, ösztönözve a helyi realizmust.

Miért kerül néha az identitásvesztés a CycleGAN-ba?

Az identitás elvesztése bünteti a szükségtelen változtatásokat, ha egy kép már a céltartományban van, így segít megőrizni a színeket és az árnyalatot.