Overview
Imagen 2 ndeye Google's photorealistic diffusion-based text-to-image modhi, yakakwenenzverwa netuning tuning kuitira kuti mibairo ienderane zvirinani neizvo vanhu vanonyatsoda. Izvo zvine basa nekuti inobatanidza yakasimba yemhando yemifananidzo uye yechokwadi zvinyorwa zvinopa nemaitiro ekugadzirisa akakweretwa kubva madzidzisirwo echatbots.
Imagen 2 uye Reward-Tuned Diffusion ndeyekombuta-yekuona mafambiro anodudzira kana kuburitsa zvinoonekwa midhiya yekuongorora, mashandiro, uye kugadzira.
Deep Dive
Imagen 2 inovaka pane yekutanga Imagen resipi: hombe yemutauro wakaomeswa encodeti yekuchimbidza, uye mamodheru emamodhi akasarudzika anoshandura ruzha rusina kurongeka kuita mufananidzo wakadzama uchiramba wakatendeka kune icho chinyorwa. Musoro wekuwedzera ndeye tuning tuning, apo yakadzidza mubairo modhi zvibodzwa zvakagadzira mifananidzo yehunhu senge kukurumidza kurongeka, aesthetics, uye realism, uye iyo diffusion modhi yakanyatso kurongeka kuti ibudise yakakwirira-zvibodzwa mhedzisiro. Izvi zvinoratidzira kusimbaradza kudzidza kubva mumhinduro dzevanhu dzinoshandiswa mumienzaniso yemitauro. Imagen 2 yakavandudzwa photorealism, kuperetera kwakavimbika kwemukati-mufananidzo, rutsigiro rwemitauro yakawanda nekukurumidza, uye kubata kwakasimba kwezvidzidzo zvinonyengera semaoko nezviso. Yakawedzerawo pendi nependi yekunze, uye Google yaibatanidza neSynthID watermarking chishandiso kumaka zvisingaonekwe mifananidzo inogadzirwa neAI. Inofambisa zvinhu pa Google zvigadzirwa uye mufananidzoFX.
Technical Insight
Diffusion inodzidza kudzoreredza maitiro eruzha, zvishoma nezvishoma denoising nzvimbo isina kujairika kuita mufananidzo unotungamirwa nekumisikidzwa kwemavara. Tuning yemubairo inogara pamusoro: muenzaniso wemubairo, wakadzidziswa pane zvinofarirwa nevanhu, unopa chiratidzo chinokwenya dhizaini modhi kune zvinobuda vanhu chiyero chepamusoro, chakafanana neRLHF yemavara. Yakasanganiswa neye classifier-yemahara nhungamiro, iyo inoenzanisa kutendeka kubva mukusiyana, izvi zvinoita kuti Imagen 2 igadzirise yakananga kune inonzwisisika mhando uye kurongeka kwete kungofananidza kugovera kwekudzidziswa.
Mastering Imagen 2 uye Mubairo-Wakagadziridzwa Diffusion
Imagen 2 ndeye Google's photorealistic diffusion-based text-to-image modhi, yakakwenenzverwa netuning tuning kuitira kuti mibairo ienderane zvirinani neizvo vanhu vanonyatsoda. Izvo zvine basa nekuti inobatanidza yakasimba yemhando yemifananidzo uye yechokwadi zvinyorwa zvinopa nemaitiro ekugadzirisa akakweretwa kubva madzidzisirwo echatbots. Imagen 2 uye Reward-Tuned Diffusion ndeyekombuta-yekuona mafambiro anodudzira kana kuburitsa zvinoonekwa midhiya yekuongorora, mashandiro, uye kugadzira. Kuti uvake kunzwisisa kwakadzama, bata Imagen 2 uye Reward-Tuned Diffusion semuenzaniso wekushandisa, kwete chinhu chimwe chete: tsanangura zvaunoda mhedzisiro, kujekesa fungidziro, uye patsanura izvo system inogona kuita nekuvimbika kubva kune ichiri kuda kutonga kwenyanzvi.
Mukuita, zvikwata zvakasimba zvinoshandisa Imagen 2 uye Reward-Tuned Diffusion balance kurongeka nemashandiro anoita semhando yedata, kusiyana kwemwenje, uye kuenderana kwemazita. Ivo vanonyora zvakajeka maitiro ebudiriro, bvunzo vachipokana ne data rechokwadi uye mafambiro ebasa, uye iterate zvichibva pane zvakacherechedzwa maitiro ekutadza kwete kuhwina-nguva imwe chete yebhenji. Apa ndipo apo kunzwisisa kwe theoretical kunoshanduka kuve kugona kwakasimba pane chigadzirwa, mutemo, uye mashandiro.
Visual AI inogona kuita otomatiki yekuongorora, yekuona, uye yekumaka mabasa pachiyero. Panguva imwecheteyo, kodzero dzeMufananidzo uye kubvumirwa kunogona kuve njodzi dzepamutemo kana hunhu husina kujeka. Nzira yakatsiga ndeyekubatanidza kukurumidza kuyedza nekutonga: mhanyisa vatyairi vendege, tora humbowo, buritsa matanda esarudzo, uye urambe uchivandudza chengetedzo semaitiro emuenzaniso, zvinotarisirwa nemushandisi, uye zvinodikanwa zvekutonga.
Strategic Impact
Visual AI inogona kuita otomatiki yekuongorora, yekuona, uye yekumaka mabasa pachiyero.
Visual AI inogona kuita otomatiki yekuongorora, yekuona, uye yekumaka mabasa pachiyero. Mukutumirwa kwemhando yepamusoro, izvi zvinoshandurirwa kuita mitemo inoyerwa yekushanda, miganhu yevaridzi, uye tsika dzekudzokorora dzinodzokororwa kuitira kuti zvikwata zvikwire kuvimba pane kukwidza kusajeka.
Zvikwata zvekugadzira zvinogona prototype pfungwa nekukurumidza nekudzokororwa kwemaoko mashoma.
Zvikwata zvekugadzira zvinogona prototype pfungwa nekukurumidza nekudzokororwa kwemaoko mashoma. Mukutumirwa kwemhando yepamusoro, izvi zvinoshandurirwa kuita mitemo inoyerwa yekushanda, miganhu yevaridzi, uye tsika dzekudzokorora dzinodzokororwa kuitira kuti zvikwata zvikwire kuvimba pane kukwidza kusajeka.
Mashandisirwo anogona kushandisa masaini emifananidzo nemavhidhiyo ayo aimbove akaoma kugadzirisa.
Mashandisirwo anogona kushandisa masaini emifananidzo nemavhidhiyo ayo aimbove akaoma kugadzirisa. Mukutumirwa kwemhando yepamusoro, izvi zvinoshandurirwa kuita mitemo inoyerwa yekushanda, miganhu yevaridzi, uye tsika dzekudzokorora dzinodzokororwa kuitira kuti zvikwata zvikwire kuvimba pane kukwidza kusajeka.
Real-World Implementation
Kugadzira kushambadza nemifananidzo yezvigadzirwa zvine mavara e-mumufananidzo senge masirogani mapfupi kana mavara.
Kupenda kubvisa kana kutsiva zvinhu mukati memufananidzo uripo.
Outpainting yekuwedzera chiitiko cheakasiyana marongero, mabhana, kana mareshiyo.
Kugadzira zvinhu zvekugadzira zvemitauro yakawanda uko zvirevo uye zvinyorwa zvinoratidzwa zvinoonekwa mumitauro yakati wandei, zvakaiswa watermark neSynthID yepakutanga.
Maitiro Ekuita
Imagen 2 uye Reward-Tuned Diffusion mukuita
Kugadzira kushambadza nemifananidzo yezvigadzirwa zvine mavara e-mumufananidzo senge masirogani mapfupi kana mavara.
Kugadzira kushambadzira uye mifananidzo yechigadzirwa ine chaiyo-mu-mufananidzo mameseji senge mapfupi masirogani kana mavara Matimu anowanzo kuwana mhedzisiro iri nani kana achinge atsanangura emhando yepamusoro kumberi, chengetedza nzira yekukwira kwevanhu yemakesi ekumucheto, uye kuteedzera zvese zvakawanikwa zvechigadzirwa nemitengo yekukanganisa nekufamba kwenguva.
Imagen 2 uye Reward-Tuned Diffusion mukuita
Kupenda kubvisa kana kutsiva zvinhu mukati memufananidzo uripo.
Kupenda kubvisa zvisina musono kana kutsiva zvinhu mukati memufananidzo uripo Matimu anowanzo kuwana mhedzisiro iri nani kana achinge atsanangura emhando yepamusoro kumberi, chengetedza nzira yekukwira kwevanhu yemakesi ekumucheto, uye kuteedzera zvese zvakawanikwa zvechigadzirwa uye mutengo wekukanganisa nekufamba kwenguva.
Imagen 2 uye Reward-Tuned Diffusion mukuita
Outpainting yekuwedzera chiitiko cheakasiyana marongero, mabhana, kana mareshiyo.
Kudhindisa kunze kwekuwedzera chiitiko cheakasiyana marongero, mabhenji, kana mareshiyo Matimu anowanzo kuwana mhedzisiro iri nani kana achinge atsanangura emhando yepamusoro kumberi, chengetedza nzira yekukwira kwevanhu yemakesi ekumucheto, uye kuteedzera zvese zvakawanikwa zvechigadzirwa uye mutengo wekukanganisa nekufamba kwenguva.
Imagen 2 uye Reward-Tuned Diffusion mukuita
Kugadzira zvinhu zvekugadzira zvemitauro yakawanda uko zvirevo uye zvinyorwa zvinoratidzwa zvinoonekwa mumitauro yakati wandei, zvakaiswa watermark neSynthID yepakutanga.
Kugadzira zvinhu zvekugadzira zvemitauro yakawanda uko zvinokurudzira uye zvakashandurwa zvinyorwa zvinoonekwa mumitauro yakati wandei, watermarked neSynthID yeprovenance Matimu anowanzo kuwana mibairo iri nani kana achinge atsanangura emhando yepamusoro kumberi, chengetedza nzira yekukwira kwevanhu yemakesi emupendero, uye kuteedzera zvese zvakawanikwa zvechigadzirwa nemitengo yekukanganisa nekufamba kwenguva.
Njodzi & Guardrails
Kodzero dzemifananidzo uye kubvumirwa kunogona kuve njodzi dzepamutemo kana provenance isina kujeka.
Kuita kwemuenzaniso kunogona kusiyanisa kupenya, huwandu hwevanhu, uye nharaunda.
Manyepo enhema anogona kusacherechedzwa kunze kwekunge zvikumbaridzo zvekuvimba zvikatariswa.
Implementation Roadmap
Tsanangura maitiro ekugamuchirwa echokwadi, kurangarira, uye mutengo wekukanganisa.
Tsanangura maitiro ekugamuchirwa echokwadi, kurangarira, uye mutengo wekukanganisa. Bata nhanho yega yega segedhi rehumbowo: kana maitiro asina kusangana, imbomira kuburitsa, vhara gaka, uye wobva wawedzera kushandiswa.
Edzai nedata rinoenderana nemamiriro chaiwo ekugadzira.
Edzai nedata rinoenderana nemamiriro chaiwo ekugadzira. Bata nhanho yega yega segedhi rehumbowo: kana maitiro asina kusangana, imbomira kuburitsa, vhara gaka, uye wobva wawedzera kushandiswa.
Wedzera ongororo yemunhu kune yakaderera-kusavimbika kana yakakwirira-inokanganisa kufanotaura.
Wedzera ongororo yemunhu kune yakaderera-kusavimbika kana yakakwirira-inokanganisa kufanotaura. Bata nhanho yega yega segedhi rehumbowo: kana maitiro asina kusangana, imbomira kuburitsa, vhara gaka, uye wobva wawedzera kushandiswa.
Tevera modhi kudonha uye simbisa mushure mekuchinja kwekamera kana dataset.
Tevera modhi kudonha uye simbisa mushure mekuchinja kwekamera kana dataset. Bata nhanho yega yega segedhi rehumbowo: kana maitiro asina kusangana, imbomira kuburitsa, vhara gaka, uye wobva wawedzera kushandiswa.