InstructPix2Pix Ilana Ṣiṣatunṣe
InstructPix2Pix jẹ ki o ṣatunkọ fọto kan nipa titẹ aṣẹ lasan bi 'ṣe ni igba otutu' tabi 'yi ologbo naa pada si aja', ko si awọn iboju iparada tabi awọn irinṣẹ yiyan.
Akopọ
It taught a diffusion model to follow editing instructions directly.
Jin Dive
InstructPix2Pix (Brooks et al., 2023) jẹ awoṣe itọka ti o dara-aifwy lati ya aworan titẹ sii pẹlu itọnisọna ọrọ kan ati gbejade aworan ti a ṣatunkọ ni gbigbe siwaju ẹyọkan. Ẹtan onilàkaye rẹ ni data ikẹkọ: awọn onkọwe lo GPT-3 lati ṣe ipilẹṣẹ ṣaaju-ati-lẹhin awọn orisii ifori, lẹhinna lo Tọ-si-Tọ pẹlu Diffusion Iduroṣinṣin lati ṣajọpọ ibaramu ṣaaju / lẹhin awọn orisii aworan. Iyẹn fun wọn ni iwe-ipamọ data nla ti (aworan atilẹba, itọnisọna, aworan ti a ṣatunkọ) awọn ilọpo mẹta lati ṣe ikẹkọ lori, gbogbo laisi aami afọwọṣe. Nitoripe awọn itọnisọna ṣe apejuwe iyipada kuku ju ipele ti o kun, awoṣe ṣe itọju awọn ẹya ti a ko darukọ ti aworan naa. O nlo awọn iwọn itọnisọna meji, ọkan fun bii o ṣe tẹle ilana naa ati ọkan fun bii o ṣe duro ni otitọ si aworan atilẹba, jẹ ki awọn olumulo ṣowo ni pipa satunkọ agbara lodi si iṣotitọ.
Imọ-imọ-ẹrọ
Awọn ipo awoṣe lori aworan orisun mejeeji ati itọnisọna naa, lilo itọnisọna ọfẹ-ọfẹ lẹgbẹẹ awọn aake meji. Iwọn kan ṣe iwọn itọnisọna ọrọ, ekeji ṣe iwọn aworan titẹ sii. Igbega iwọn aworan ntọju diẹ sii ti atilẹba mule, lakoko igbega iwọn ọrọ jẹ ki satunkọ naa ni ibinu diẹ sii. Itọnisọna meji yii jẹ ohun ti o jẹ ki itọnisọna jeneriki kan ni igbẹkẹle yi abala kan pada lakoko ti o nlọ iyoku fọto ni idanimọ.
Ipa Ilana
Iyara ati iwọn
Visual AI le ṣe adaṣe adaṣe, wiwa, ati awọn iṣẹ ṣiṣe taagi ni iwọn.
Kọ awọn yiyan
Awọn ẹgbẹ ẹda le ṣe apẹrẹ awọn imọran yiyara pẹlu awọn atunyẹwo afọwọṣe diẹ.
Ẹgbẹ ati ṣiṣan iṣẹ
Awọn iṣẹ ṣiṣe le lo aworan ati awọn ifihan agbara fidio ti o nira tẹlẹ lati ṣiṣẹ.
Ọjọ iwaju ti Ṣiṣatunṣe Ilana Ilana InstructPix2Pix
Ṣiṣatunṣe ti o da lori ilana n di wiwo aiyipada fun awọn irinṣẹ aworan, ni bayi ti a yan sinu awọn lw akọkọ ati awọn aṣeyọri bi MagicBrush ati awọn olootu titan-pupọ ti n yọ jade. Reti dara itoju ti itanran apejuwe awọn, gbẹkẹle mimu ti aye ilana bi 'gbe atupa osi', ati iran itẹsiwaju si fidio, ibi ti ọkan pipaṣẹ satunkọ ohun gbogbo agekuru. Pipọpọ awọn awoṣe wọnyi pẹlu awọn aṣoju ede le jẹ ki o ṣapejuwe igba ṣiṣatunṣe kikun ni ibaraẹnisọrọ.
Real-World imuse
Awọn oriṣi bulọọgi kan 'fi awọn foliage isubu kun' lati tun awọ aworan ala-ilẹ ooru kan fun ifiweranṣẹ igba kan.
Olutaja e-commerce n kọni 'yi awọ seeti pada si ọgagun' lati ṣe agbejade awọn iyatọ awọ ọja lati ibọn kan.
Olukọ kan ṣatunkọ fọto itan kan pẹlu 'ṣe awọ eleyi' lati jẹ ki aworan ibi ipamọ dudu ati funfun han kedere fun ẹkọ kan.
Ẹlẹda meme kan paṣẹ 'fi awọn gilaasi jigi sori aja' laisi ọwọ boju oju aja naa.
Awọn ewu & Awọn ọna iṣọ
Awọn ẹtọ aworan ati igbanilaaye le di awọn eewu labẹ ofin ti o ba jẹ afihan.
Iṣe awoṣe le yatọ kọja ina, awọn ẹda eniyan, ati awọn agbegbe.
Awọn idaniloju eke le ma ṣe akiyesi ayafi ti a ba ṣe abojuto awọn ala igbẹkẹle.
Ilana Ilana imuse
Ṣetumo awọn ibeere gbigba fun pipe, iranti, ati awọn idiyele aṣiṣe.
Ṣe idanwo pẹlu data ti o baamu awọn ipo iṣelọpọ gidi.
Ṣafikun atunyẹwo eniyan fun igbẹkẹle kekere tabi awọn asọtẹlẹ ipa-giga.
Tọpinpin awoṣe ki o ṣe tunṣe lẹhin kamẹra tabi awọn ayipada datasetto.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the InstructPix2Pix Instruction Editing quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
DragGAN Ṣiṣatunkọ Ibanisọrọ
Awọn ibeere ti a beere nigbagbogbo
What is InstructPix2Pix Instruction Editing?
InstructPix2Pix jẹ ki o ṣatunkọ fọto kan nipa titẹ aṣẹ lasan bi 'ṣe ni igba otutu' tabi 'yi ologbo naa pada si aja', ko si awọn iboju iparada tabi awọn irinṣẹ yiyan. O kọ awoṣe tan kaakiri lati tẹle awọn itọnisọna ṣiṣatunṣe taara.
Bawo ni o ṣe sọ fun InstructPix2Pix kini lati yipada?
O kan tẹ itọnisọna bi 'ṣe igba otutu'; ko si awọn iboju iparada tabi yiyan agbegbe ti a nilo.
Bawo ni a ṣe ṣẹda data ikẹkọ InstructPix2Pix?
Awọn onkọwe ni idapo GPT-3-ipilẹṣẹ ifori awọn orisii pẹlu Iṣagbepọ aworan Tọ-si-Tara lati kọ awọn ilọpo mẹta laifọwọyi.
Kini iṣakoso awọn iwọn itoni meji ti InstructPix2Pix?
Iwọn kan n ṣe akoso bi o ṣe lagbara ti satunkọ naa tẹle ilana naa; ekeji n ṣe akoso iye ti aworan orisun ti wa ni ipamọ.
Kini idi ti awoṣe naa ṣe lati fi awọn ẹya ti a ko darukọ ti aworan naa silẹ nikan?
Ilana kan fojusi iyipada kan pato, nitorinaa awoṣe ṣe itọju awọn agbegbe ti itọnisọna ko mẹnuba.
Awọn iwe-iwọle siwaju melo ni InstructPix2Pix nilo lati ṣe atunṣe?
O jẹ awoṣe itọka ipo ẹyọkan ti o gba aworan ati itọnisọna papọ ati ṣe agbejade ṣiṣatunṣe naa.