Visual AI Itọsọna

SPADE Atumọ Aworan

SPADE (Spatially-Adaptive Normalisation) yi ipilẹ aami ti o rọrun, bii maapu iwe awọ ọmọde ti 'ọrun nibi, koriko wa nibẹ, igi nibi', sinu aworan aworan gidi kan.

2 min kakẹhin imudojuiwọn

Akopọ

O ṣe pataki nitori pe o fun awọn oṣere ati awọn apẹẹrẹ ni iṣakoso aaye ti o tọ lori ohun ti o han ni aaye ti ipilẹṣẹ.

Jin Dive

SPADE, ti a gbekalẹ nipasẹ awọn oniwadi NVIDIA Park, Liu, Wang, ati Zhu ni ọdun 2019 (pẹlu ohun elo demo GauGAN), ṣe agbejade awọn aworan ojulowo lati awọn maapu ipin-itumọ, nibiti ẹbun kọọkan ti ni awọ nipasẹ ẹka rẹ (omi, opopona, ile, ọrun). Awọn olupilẹṣẹ iṣaaju jẹ ifunni maapu ipin nipasẹ awọn ipele isọdi deede ti o nifẹ lati 'fọ kuro' alaye ifilelẹ, ti n ṣe blurry tabi awọn abajade aisedede. Imọye SPADE ni pe ifilelẹ yẹ ki o ma ṣe itọsọna nẹtiwọọki ni gbogbo ipele ti iran, kii ṣe ni titẹ sii nikan. O ṣe atunṣe awọn imuṣiṣẹ deede ni lilo awọn aye ti a kọ taara lati maapu ipin ni ipo aaye kọọkan. Abajade jẹ didasilẹ, iṣelọpọ iṣakoso nibiti o le kun maapu aami kan ati ki o wo ala-ilẹ ti o gbagbọ, ni pipe pẹlu awọn iweyinpada ati awọn awoara, ṣe ohun elo.

Imọ-imọ-ẹrọ

Ipele boṣewa tabi apẹẹrẹ awọn irẹjẹ deede ati awọn iṣiṣẹ ṣiṣẹ pẹlu awọn iye ẹkọ ẹyọkan fun ikanni kan, sisọ awọn alaye aaye silẹ. SPADE dipo asọtẹlẹ iwọn (gamma) ati iyipada (beta) bi awọn tenors aye ni kikun ti a ṣe iṣiro nipasẹ awọn fẹlẹfẹlẹ convolutional kekere ti a lo si boju-boju ipin. Awọn paramita iyatọ-aye yii jẹ itasi ni awọn ipinnu lọpọlọpọ jakejado monomono, nitorinaa ipilẹ atunmọ nigbagbogbo ṣe ipo iṣelọpọ ati ṣe idiwọ alaye lati jẹ deede kuro.

Ipa Ilana

Iyara ati iwọn

Visual AI le ṣe adaṣe adaṣe, wiwa, ati awọn iṣẹ ṣiṣe taagi ni iwọn.

Kọ awọn yiyan

Awọn ẹgbẹ ẹda le ṣe apẹrẹ awọn imọran yiyara pẹlu awọn atunyẹwo afọwọṣe diẹ.

Ẹgbẹ ati ṣiṣan iṣẹ

Awọn iṣẹ ṣiṣe le lo aworan ati awọn ifihan agbara fidio ti o nira tẹlẹ lati ṣiṣẹ.

Ojo iwaju ti SPADE Semantic Image Synthesis

SPADE ti ṣe agbekalẹ ipo imudara aye-aye gẹgẹbi ilana mojuto, ati awọn iru-ọmọ rẹ ni bayi ni agbara awọn irinṣẹ apẹrẹ ibaraenisepo ati awọn awoṣe itagbangba iṣakoso-ipin bii ControlNet ti o gba awọn maapu ipin bi itọsọna. Awọn ọna ṣiṣe iwaju yoo dapọ iṣakoso aye ara SPADE pẹlu awọn itọ ọrọ, jẹ ki awọn olumulo pato mejeeji nibiti awọn nkan lọ ati iru ara wo ni wọn gba. Reti ṣiṣatunṣe ọlọrọ: fa agbegbe aami kan, ṣatunṣe awọn ohun elo, ki o tun tun agbegbe ti o kan ṣe ni akoko gidi.

Real-World imuse

Ohun elo GauGAN/Canvas NVIDIA, jẹ ki awọn olumulo kun awọn maapu ipin ti o ni inira ti o di awọn ala-ilẹ fọtoyiya

Itumọ ti ayaworan ati ipele ere, nibiti awọn apẹẹrẹ ṣe afọwọya awọn agbegbe ati gba awọn awotẹlẹ oju iṣẹlẹ lẹsẹkẹsẹ

Ṣiṣẹda oniruuru awọn aworan ikẹkọ sintetiki pẹlu awọn aami ẹbun ti a mọ fun idagbasoke awoṣe ipin

Awọn irinṣẹ ṣiṣatunṣe fọto ti o jẹ ki awọn olumulo tun sọ awọn agbegbe (yi koriko pada si omi) ati tun-ṣepọ agbegbe yẹn ni otitọ

Awọn ewu & Awọn ọna iṣọ

Awọn ẹtọ aworan ati igbanilaaye le di awọn eewu labẹ ofin ti o ba jẹ afihan.

Iṣe awoṣe le yatọ kọja ina, awọn ẹda eniyan, ati awọn agbegbe.

Awọn idaniloju eke le ma ṣe akiyesi ayafi ti a ba ṣe abojuto awọn ala igbẹkẹle.

Ilana Ilana imuse

1

Ṣetumo awọn ibeere gbigba fun pipe, iranti, ati awọn idiyele aṣiṣe.

2

Ṣe idanwo pẹlu data ti o baamu awọn ipo iṣelọpọ gidi.

3

Ṣafikun atunyẹwo eniyan fun igbẹkẹle kekere tabi awọn asọtẹlẹ ipa-giga.

4

Tọpinpin awoṣe ki o ṣe tunṣe lẹhin kamẹra tabi awọn ayipada datasetto.

Tesiwaju Ṣiṣawari

Free newsletter

Get the daily AI briefing

Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.

One email each weekday. Unsubscribe in one click. We never sell or share your address.

Test yourself

Take the SPADE Semantic Image Synthesis quiz

Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.

Bẹrẹ adanwo

Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation

Itọsọna atẹle

VQGAN ati Akopọ Aworan Aworan

Awọn ibeere ti a beere nigbagbogbo

Kini SPADE Semantic Image Synthesis?

SPADE (Spatially-Adaptive Normalisation) yi ipilẹ aami ti o rọrun, bii maapu iwe awọ ọmọde ti 'ọrun nibi, koriko wa nibẹ, igi nibi', sinu aworan aworan gidi kan. O ṣe pataki nitori pe o fun awọn oṣere ati awọn apẹẹrẹ ni iṣakoso aye gangan lori ohun ti o han nibiti o wa ni iṣẹlẹ ti ipilẹṣẹ.

Iṣawọle wo ni SPADE nlo lati ṣe ipilẹṣẹ aworan kan?

SPADE ṣajọpọ awọn aworan fọtoyiya lati awọn maapu ipin atunmọ nibiti ẹbun kọọkan gbe aami ẹka kan bi ọrun tabi koriko.

Iṣoro wo pẹlu isọdọtun iṣaaju SPADE ṣe atunṣe?

Iṣe deede ti aṣa nfẹ lati nu alaye atunmọ aaye rẹ, nitorina SPADE tun-ibẹrẹ iṣeto ni jakejado nẹtiwọọki naa.

Ohun elo ibanisọrọ olokiki wo ni a kọ sori SPADE?

NVIDIA's GauGAN, nigbamii NVIDIA Canvas, jẹ ki awọn olumulo kun awọn maapu aami ti SPADE yipada si awọn iwoye fọtoyiya.

Kini 'SP' ni SPADE duro fun?

SPADE duro fun isọdọtun Spatially-Adaptive (De), ti o tọka si awose ti o gbẹkẹle ipo.