Résumé
Prompt-to-Prompt dafay soppali nataal biñ defar ci soppali bindam ci di jëfandikoowaat kàrtu attention bi ci biir model bi, kon soppi benn baat dafay wecci élément boobu boole ci denc yeneen scene yi. Dafay soppali ci kàddu, du ci pixel.
Soppi cross-Attention Prompt-to-Prompt bokk na ci liggéey yiy tekki wala defar ay meja yu ñuy gis ngir jàngat, liggéey ak sos lu bees.
Plongeur bu xóot
Gaaw-ci-Gaaw (Hertz et al., 2022) xarala la bu amul tàggat ngir soppali mbind ci xeetu diffusion. Li gëna am solo mooy kàrtu cross-attention yi, ñooy wax model bi ban gox ci nataal bi baat bu nekk wara am njeexital, dañuy kode jëmmal barabu seen bi. Sooy defaraat ab nataal ak ab laaj buñu soppeeku tuuti, anam wi dafay dugal kàrtu bàyyi xel bu laaj bu njëkk bi ci doxalin bu bees bi. Soo wecci benn baat, lu melni 'welo' ak 'moto', dangay wecci mbir mi boole ci baña yàq composition bi ak fond bi. Yokk benn baat dafay dugal xel ci jeton yi soppikuwul, suko defee attribut bu bees feeñ te doo soppi lépp. Mën nga itam xoolaat token bi ngir gëna dooleel wala wàññi njeextalam. Ndax soxlawul ñu defar ko bu baax wala mask, mu nekkoon lu am solo ci pexe soppali yu bari ci ginaaw, lu ci melni defar done yu InstructPix2Pix.
Gis-gis xarala
Bu ñuy dindi bruit, cross-attention dafay xayma, ci token bu nekk, kàrtu barab buy wane fimu nekk ci nataal bi. Prompt-to-Prompt dafay kopie kàrt yii ci jamonoy njëkk ba ci biñ soppali ngir ay token yuñ bokk. Ngir weccoo baat, dafay xëcc xel ci diggante ay token yu méngoo; ngir yokk kàddu yi, dafay denc kàrt yu yàgg yi, te du bàyyi ludul token yu bees ñu am xel mu bees; reweighting dafay eskale valeur yiy bàyyi xel ci token bi, di gëna dooleel wala di mute influence visuel bi.
Mastering
Prompt-to-Prompt dafay soppali nataal biñ defar ci soppali bindam ci di jëfandikoowaat kàrtu attention bi ci biir model bi, kon soppi benn baat dafay wecci élément boobu boole ci denc yeneen scene yi. Dafay soppali ci kàddu, du ci pixel. Soppi cross-Attention Prompt-to-Prompt bokk na ci liggéey yiy tekki wala defar ay meja yu ñuy gis ngir jàngat, liggéey ak sos lu bees. Ngir tabax xam-xam bu xóot, jàppal Prompt-to-Prompt Cross-Attention Editing ni xeetu liggéey, du benn man-man: leeral njariñ yi nga bëgg, leeral xalaat yi, ak tàqale li sistem bi mëna def ci anam wu wóor ak li ba leegi soxla àtteb kàngam.
Ci jëf, ekip yu am doole yiy jëfandikoo Prompt-to-Prompt Cross-Attention Editing dañuy boole njub ak dëggantaan ci liggéey bi, lu ci melni kalite done, faraasu leeral, ak méngoo etiketu. Dañuy bind kritër yu leer ngir am ndam, natt leen ci done yu dëggu ak def liggéey, ba noppi ñu baamtu ci anamu ñàkka mëna seetlu, du ci benn yoon benchmark wins. Mooy barab bi xam-xam theorie bi di soppiku nekk kàttan buy yàgg ci produit yi, ci politik yi ak ci liggéey yi.
Visual IA mën na otomatise saytu, gis ak etiketu liggéey ci eskaal. Ci jamano jooju, yelleefi nataal ak nangu mën na nekk risku yoon sudee fimu bawoo leerul. Xeetu jëf bi gëna dëgër mooy boole gaawaayu jàngat ak disipline nguur: doxal pilote, jàpp firnde, siiwal dogal yi, ak wéy di yeesal kaaraange gi ci anam wi ñuy doxalee, li jëfandikukat bi di xaar, ak sàrti sàrt yi di jëm kanam.
njeextalu pexe
Visual IA mën na otomatise saytu, gis ak etiketu liggéey ci eskaal.
Visual IA mën na otomatise saytu, gis ak etiketu liggéey ci eskaal. Ci jëfandikoo yu am kalite bu kawe, loolu dañu koy tekki ci sàrti liggéey yuñ mëna natt, ay peggu boroom, ak ay xew-xewu xoolaat yu bari suko defee ekip yi mëna yokk wóolu seen bopp ci barabu yokk lu jaxasoo.
Ekipu kreatif yi mën nañu defar konsept yu gëna gaaw te duñu def lu bari ci loxo.
Ekipu kreatif yi mën nañu defar konsept yu gëna gaaw te duñu def lu bari ci loxo. Ci jëfandikoo yu am kalite bu kawe, loolu dañu koy tekki ci sàrti liggéey yuñ mëna natt, ay peggu boroom, ak ay xew-xewu xoolaat yu bari suko defee ekip yi mëna yokk wóolu seen bopp ci barabu yokk lu jaxasoo.
Liggéeyukaay yi mën nañu jëfandikoo siñaal nataal wala wideo yu jafewoon lool ci liggéey.
Liggéeyukaay yi mën nañu jëfandikoo siñaal nataal wala wideo yu jafewoon lool ci liggéey. Ci jëfandikoo yu am kalite bu kawe, loolu dañu koy tekki ci sàrti liggéey yuñ mëna natt, ay peggu boroom, ak ay xew-xewu xoolaat yu bari suko defee ekip yi mëna yokk wóolu seen bopp ci barabu yokk lu jaxasoo.
Doxal ci àdduna dëgg
Designer bi dafay soppi 'oto bu xonk ci mbedd mi' def ko 'oto bu baxa ci mbedd mi' ba noppi mu baña soppi jëmmu seen bi.
Benn nataalkat dafay soppi baat 'neige' ngir defar paysage buy gëna sedd ci anam yu bari.
Léebkat bi dafay wecci 'gaynde' ak 'tigre' ngir am pose bu nuróo ak fonndaasioŋ ngir fiche personage bi.
Gëstukat bi daf koy jëfandikoo ngir defar nataal yuñ boole balaa/ganaw, muy done yuy tàggat editër biy topp tegtal yi.
Modèlu jëfandikoo
Gaaw-ci-gaaw Cross-Attention Soppi ci jëf
Designer bi dafay soppi 'oto bu xonk ci mbedd mi' def ko 'oto bu baxa ci mbedd mi' ba noppi mu baña soppi jëmmu seen bi.
Designer bi dafay soppi 'oto bu xonk ci mbedd' ci 'oto bu baxa ci mbedd' ba noppi tëye benn xeetu seen bi. Ekip yi dañuy faral di am njariñ yu gëna baax suñu joxee ay pursàntaasu kalite ci kanam, tëye yoonu eskalaasioŋ nit ngir jafe-jafe yi, ba noppi topp njariñu liggéey bi ak njëgu njuumte yi ci diir bu gàtt.
Gaaw-ci-gaaw Cross-Attention Soppi ci jëf
Benn nataalkat dafay soppi baat 'neige' ngir defar paysage buy gëna sedd ci anam yu bari.
Ab nataalkat dafay reweighted baat 'neige' ngir defar paysage bu gëna sedd ci anam yu bari. Ekip yi dañuy faral di am njariñ yu gëna baax suñu joxee threshold yu baax ci kanam, tëye yoonu escalation nit ngir jafe-jafe yi, ba noppi topp njariñu produit yi ak njëgu njuumte yi ci diir bi.
Gaaw-ci-gaaw Cross-Attention Soppi ci jëf
Léebkat bi dafay wecci 'gaynde' ak 'tigre' ngir am pose bu nuróo ak fonndaasioŋ ngir fiche personage bi.
Léebkat bi dafay weccoo 'gaynde' ak 'tigre' ci benn laaj ngir tëye pose ak background bu nuróo ngir benn fiche de personage. Ekip yi dañuy faral di am njariñ yu gëna baax suñu joxee ay threshold yu baax ci kanam, tëye yoonu escalation nit ngir jafe-jafe yi, ba noppi topp njariñu produit yi ak njëgu njuumte yi ci diir bu gàtt.
Gaaw-ci-gaaw Cross-Attention Soppi ci jëf
Gëstukat bi daf koy jëfandikoo ngir defar nataal yuñ boole balaa/ganaw, muy done yuy tàggat editër biy topp tegtal yi.
Gëstukat bi daf koy jëfandikoo ngir defar nataal yuñ boole balaa / ginaaw, muy done yuñ tàggat ngir editër bi topp tegtal yi. Ekip yi dañuy faral di am njariñ yu gëna baax suñu joxee threshold yu baax ci kanam, tëye yoonu escalation nit ngir jafe-jafe yi, ba noppi topp njariñu produit yi ak njëgu njuumte yi ci diir bi.
Risk yi ak balustrade yi
Yelleefi nataal ak nangu mën na nekk risku yoon sudee fi ñu bawoo leerul.
Performance model bi mën na wuute ci leeraay bi, demographie bi ak environmaa bi.
Njuumteg positive yi mën nañu dem te kenn duko seetlu fileek xool wuñu buntu wóolu sa bopp.
Roadmap ngir samp gi
Mandargal kritërium nangug njub, woowaat ak njëgu njuumte.
Mandargal kritërium nangug njub, woowaat ak njëgu njuumte. Japp jéego bu nekk ni buntu firnde: sudee mattul kritër yi, noppali génne gi, tëj bërëb bi, ba noppi nga yaatal jëfandikoo gi.
Saytu ak done yu méngoo ak anam yi ñuy liggéeyee dëgg.
Saytu ak done yu méngoo ak anam yi ñuy liggéeyee dëgg. Japp jéego bu nekk ni buntu firnde: sudee mattul kritër yi, noppali génne gi, tëj bërëb bi, ba noppi nga yaatal jëfandikoo gi.
Yokk jàngat nit ngir xam fu wóorul dara wala am njeexital yu rëy.
Yokk jàngat nit ngir xam fu wóorul dara wala am njeexital yu rëy. Japp jéego bu nekk ni buntu firnde: sudee mattul kritër yi, noppali génne gi, tëj bërëb bi, ba noppi nga yaatal jëfandikoo gi.
Toppal model drift bi nga baaxal ko ginaaw bi kamera bi wala done yi soppeekoo.
Toppal model drift bi nga baaxal ko ginaaw bi kamera bi wala done yi soppeekoo. Japp jéego bu nekk ni buntu firnde: sudee mattul kritër yi, noppali génne gi, tëj bërëb bi, ba noppi nga yaatal jëfandikoo gi.