Uhariri wa Maagizo ya InstructPix2Pix
InstructPix2Pix hukuruhusu kuhariri picha kwa kuandika amri rahisi kama vile 'fanya iwe msimu wa baridi' au 'geuza paka kuwa mbwa', hakuna barakoa au zana za kuchagua zinazohitajika.
Muhtasari
It taught a diffusion model to follow editing instructions directly.
Dive ya kina
InstructPix2Pix (Brooks et al., 2023) ni kielelezo cha uenezi kilichoboreshwa ili kuchukua picha ya ingizo pamoja na maagizo ya maandishi na kutoa picha iliyohaririwa kwa pasi moja ya mbele. Ujanja wake wa busara ni data ya mafunzo: waandishi walitumia GPT-3 kutengeneza jozi za manukuu kabla na baada ya hapo, kisha wakatumia Uharaka-kwa-Uhakika na Usambazaji Imara ili kuunganisha ulinganifu kabla/baada ya jozi za picha. Hiyo iliwapa seti kubwa ya data ya (picha ya asili, maagizo, picha iliyohaririwa) mara tatu ya kupata mafunzo, yote bila kuweka lebo mwenyewe. Kwa sababu maagizo yanaelezea mabadiliko badala ya tukio kamili, kielelezo huhifadhi sehemu ambazo hazijatajwa za picha. Inatumia mizani miwili ya mwongozo, moja kwa jinsi inavyofuata maelekezo kwa ukaribu na nyingine kwa jinsi inavyoshikamana kwa uaminifu na picha asili, na kuwaruhusu watumiaji kubadilishana uwezo wa kuhariri dhidi ya uaminifu.
Ufahamu wa Kiufundi
Masharti ya kielelezo kwenye picha chanzo na maagizo, kwa kutumia mwongozo usio na uainishaji kwenye shoka mbili. Mizani moja hupima maagizo ya maandishi, nyingine hupima taswira ya ingizo. Kupandisha kiwango cha picha huweka zaidi ile ya asili kuwa sawa, huku kuinua kiwango cha maandishi hufanya uhariri kuwa mkali zaidi. Mwongozo huu wa pande mbili ndio unaoruhusu maagizo ya jumla ya kubadilisha kipengele kimoja kwa uhakika huku picha nyingine ikitambulika.
Athari za kimkakati
Kasi na kiwango
Visual AI inaweza kufanya ukaguzi, ugunduzi na kazi za kuweka lebo kiotomatiki kwa kiwango.
Tengeneza chaguzi
Timu bunifu zinaweza kuiga dhana kwa haraka zaidi na masahihisho machache ya mikono.
Timu na mtiririko wa kazi
Uendeshaji unaweza kutumia ishara za picha na video ambazo hapo awali zilikuwa ngumu kuchakata.
Mustakabali wa Uhariri wa Maagizo ya InstructPix2Pix
Uhariri unaotegemea maagizo unakuwa kiolesura chaguo-msingi cha zana za picha, ambazo sasa zimetumika katika programu kuu na warithi kama vile MagicBrush na wahariri wanaoibuka wa zamu nyingi. Tarajia uhifadhi bora wa maelezo mafupi, utunzaji unaotegemeka wa maagizo ya anga kama 'sogeza taa kushoto', na upanuzi usio na mshono hadi kwenye video, ambapo amri moja huhariri klipu nzima. Kuunganisha miundo hii na mawakala wa lugha kunaweza kukuruhusu kuelezea kipindi kamili cha uhariri kwa mazungumzo.
Utekelezaji wa Ulimwengu Halisi
Mwanablogu anaandika 'ongeza majani ya msimu wa joto' ili kurudisha picha ya mandhari ya majira ya kiangazi kwa chapisho la msimu.
Muuzaji wa biashara ya mtandaoni anaagiza 'badilisha rangi ya shati iwe jeshi la baharini' ili kutoa lahaja za rangi za bidhaa kutoka kwa risasi moja.
Mwalimu anahariri picha ya kihistoria kwa 'kupaka rangi hii' ili kufanya picha ya kumbukumbu nyeusi na nyeupe iwe wazi kwa somo.
Mtayarishi wa meme anaamuru 'mweke mbwa miwani ya jua' bila kuficha uso wa mbwa mwenyewe.
Hatari & Walinzi
Haki za picha na idhini zinaweza kuwa hatari za kisheria ikiwa asili haiko wazi.
Utendaji wa muundo unaweza kutofautiana katika mwangaza, idadi ya watu na mazingira.
Chanya za uwongo zinaweza kutotambuliwa isipokuwa viwango vya uaminifu vifuatiliwe.
Ramani ya Utekelezaji
Bainisha vigezo vya kukubalika vya usahihi, kumbukumbu na gharama za makosa.
Jaribu kwa kutumia data inayolingana na hali halisi ya uzalishaji.
Ongeza ukaguzi wa kibinadamu kwa utabiri wa chini au utabiri wa athari kubwa.
Fuatilia mtindo wa kuteleza na uthibitishe upya baada ya mabadiliko ya kamera au mkusanyiko wa data.
Endelea Kuchunguza
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the InstructPix2Pix Instruction Editing quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Mwongozo unaofuata
DragGAN Interactive Editing
Maswali yanayoulizwa mara kwa mara
What is InstructPix2Pix Instruction Editing?
InstructPix2Pix hukuruhusu kuhariri picha kwa kuandika amri rahisi kama vile 'fanya iwe msimu wa baridi' au 'geuza paka kuwa mbwa', hakuna barakoa au zana za kuchagua zinazohitajika. Ilifundisha muundo wa uenezaji kufuata maagizo ya uhariri moja kwa moja.
Unaiambiaje InstructPix2Pix nini cha kubadilisha?
Unaandika tu maagizo kama 'ifanye iwe msimu wa baridi'; hakuna barakoa au uteuzi wa eneo unaohitajika.
Data ya mafunzo ya InstructPix2Pix iliundwaje?
Waandishi walichanganya jozi za nukuu zinazozalishwa na GPT-3 na usanisi wa picha wa Prompt-to-Prompt ili kuunda mara tatu kiotomatiki.
Je, mizani miwili ya mwongozo ya InstructPix2Pix inadhibiti nini?
Kiwango kimoja husimamia jinsi hariri inavyofuata maagizo; nyingine inasimamia ni kiasi gani cha picha chanzo kimehifadhiwa.
Kwa nini kielelezo huwa na kuacha sehemu ambazo hazijatajwa za picha pekee?
Maagizo yanalenga mabadiliko maalum, kwa hivyo mfano huhifadhi maeneo ambayo maagizo hayajataja.
Je, ni pasi ngapi za mbele ambazo InstructPix2Pix inahitaji kutengeneza hariri?
Ni muundo mmoja wa uenezaji wa masharti ambao huchukua picha na maagizo pamoja na kutoa hariri.