Awọn awoṣe Itankale Latent
Awọn awoṣe itọka wiwaba n ṣe awọn aworan jade nipa ṣiṣiṣẹ ilana itankale ni aaye wiwakọ fisinuirindigbindigbin dipo awọn piksẹli aise, idinku awọn idiyele iṣiro.
Akopọ
Wọn jẹ ẹrọ lẹhin Stable Diffusion ati awọn olupilẹṣẹ aworan orisun ṣiṣi ti ode oni.
Jin Dive
Awoṣe tan kaakiri boṣewa kọ ẹkọ lati yiyipada ilana ariwo kan: o bẹrẹ lati ariwo mimọ ati kọ ẹkọ diẹdiẹ sinu aworan kan. Ṣiṣe eyi taara lori awọn piksẹli jẹ gbowolori nitori aworan 512x512 ni awọn ọgọọgọrun awọn iye. Itankale wiwaba, ti a ṣe nipasẹ Rombach ati awọn ẹlẹgbẹ rẹ ni ọdun 2022, akọkọ nlo adaṣe adaṣe adaṣe iyatọ ti a ti kọ tẹlẹ (VAE) lati funmorawon aworan kan sinu akoj wiwakọ kekere kan (nigbagbogbo 64x64x4, aijọju 48x kere ju). U-Net itagbangba lẹhinna kọ ẹkọ lati denoise inu aaye wiwakọ iwapọ yẹn, itọsọna nipasẹ ọrọ nipasẹ akiyesi agbelebu. Nikẹhin VAE decoder tun ṣe awọn piksẹli ipinnu ni kikun. Funmorawon oye yii ṣe itọju alaye ti o nilari itumọ-ọrọ lakoko ti o npa awọn alaye ti ko ni ifọwọsi, ṣiṣe iran ti o ni agbara giga ti o ṣeeṣe lori awọn GPU olumulo.
Imọ-imọ-ẹrọ
Ẹtan bọtini ni yiya sọtọ funmorawon lati inu awoṣe ipilẹṣẹ. VAE n kapa alaye piksẹli igbohunsafẹfẹ-giga ni ẹẹkan, ati pe U-Net nikan ṣe apẹẹrẹ pinpin wiwadi onisẹpo kekere. Imudara ọrọ jẹ itasi nipasẹ awọn ipele ifarabalẹ agbelebu, nibiti awọn ẹya aaye U-Net wa si awọn ifibọ ami ami lati koodu koodu bi CLIP. Nitoripe awọn wiwakọ jẹ aijọju awọn akoko 48 kere ju awọn piksẹli, igbesẹ ikọlu kọọkan jẹ din owo pupọ ni iranti mejeeji ati awọn FLOPs.
Ipa Ilana
Iyara ati iwọn
Visual AI le ṣe adaṣe adaṣe, wiwa, ati awọn iṣẹ ṣiṣe taagi ni iwọn.
Kọ awọn yiyan
Awọn ẹgbẹ ẹda le ṣe apẹrẹ awọn imọran yiyara pẹlu awọn atunyẹwo afọwọṣe diẹ.
Ẹgbẹ ati ṣiṣan iṣẹ
Awọn iṣẹ ṣiṣe le lo aworan ati awọn ifihan agbara fidio ti o nira tẹlẹ lati ṣiṣẹ.
Ojo iwaju ti Awọn awoṣe Itankale Latent
Itankale wiwaba n pọ si ju awọn aworan lọ sinu fidio (Itumọ Fidio Iduroṣinṣin), awọn ohun-ini 3D, ati awọn iwoye ohun, gbogbo wọn ni lilo ohunelo compress-lẹhinna-denoise kanna. Iwadi n titari si awọn igbesẹ iṣapẹẹrẹ diẹ nipasẹ distillation ati awọn awoṣe aitasera, awọn VAE ti o dara julọ ti o tọju ọrọ ti o dara ati awọn oju, ati awọn agbekalẹ ṣiṣan ti a ṣe atunṣe bii awọn ti o wa ni Stable Diffusion 3 ti o taara itọpa iran fun yiyara, awọn abajade didan.
Real-World imuse
Idurosinsin Diffusion ti n ṣe ipilẹṣẹ iṣẹ ọna ati awọn apẹrẹ imọran lati awọn itọ ọrọ lori GPU olumulo kan ṣoṣo
Adobe ati Canva n ṣe agbara ọrọ-si-aworan ati awọn ẹya kikun-kikun ti a ṣe lori awọn ẹhin itọka wiwakọ
Awọn ile iṣere ere ti n ṣe awọn maapu awoara, sprites, ati aworan imọran ayika lati mu yara iṣelọpọ ṣaaju
Aworan-iṣura ati awọn ẹgbẹ titaja ṣiṣẹda awọn ẹlẹgàn ọja-ọja ati awọn iwo ipolowo laisi fọtoyiya kan
Awọn ewu & Awọn ọna iṣọ
Awọn ẹtọ aworan ati igbanilaaye le di awọn eewu labẹ ofin ti o ba jẹ afihan.
Iṣe awoṣe le yatọ kọja ina, awọn ẹda eniyan, ati awọn agbegbe.
Awọn idaniloju eke le ma ṣe akiyesi ayafi ti a ba ṣe abojuto awọn ala igbẹkẹle.
Ilana Ilana imuse
Ṣetumo awọn ibeere gbigba fun pipe, iranti, ati awọn idiyele aṣiṣe.
Ṣe idanwo pẹlu data ti o baamu awọn ipo iṣelọpọ gidi.
Ṣafikun atunyẹwo eniyan fun igbẹkẹle kekere tabi awọn asọtẹlẹ ipa-giga.
Tọpinpin awoṣe ki o ṣe tunṣe lẹhin kamẹra tabi awọn ayipada datasetto.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Latent Diffusion Models quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Awọn awoṣe Itankale fidio
Awọn ibeere ti a beere nigbagbogbo
Kini Latent Diffusion Models?
Awọn awoṣe itọka wiwaba n ṣe awọn aworan jade nipa ṣiṣiṣẹ ilana itankale ni aaye wiwakọ fisinuirindigbindigbin dipo awọn piksẹli aise, idinku awọn idiyele iṣiro. Wọn jẹ ẹrọ ti o wa lẹhin Stable Diffusion ati awọn olupilẹṣẹ aworan ṣiṣi-orisun ode oni julọ.
Kini ĭdàsĭlẹ akọkọ ti awọn awoṣe itọka wiwaba ti a fiwewe si itankale aaye-piksẹli?
Itankale wiwadi nfi awọn aworan sinu aaye wiwaba kekere nipa lilo VAE kan, nitorinaa aibikita gbowolori ṣẹlẹ lori awọn iye diẹ ti o kere ju awọn piksẹli ni kikun lọ.
Ẹya paati wo ni o rọ aworan kan sinu aaye wiwaba ati tun ṣe lẹhin naa?
VAE ti a ti kọkọ tẹlẹ ṣe koodu koodu si aworan sinu akoj wiwakọ iwapọ ati oluyipada rẹ tun ṣe awọn piksẹli ipinnu ni kikun ni ipari.
Bawo ni a ṣe ṣe itasi ọrọ ni igbagbogbo sinu U-Net ti o sọ ni itọka wiwaba?
Awọn ifibọ àmi lati koodu koodu kan jẹ ifunni sinu awọn ipele ifarabalẹ agbelebu, jẹ ki awọn ẹya aaye wa si itọsi naa.
Kini idi ti ṣiṣiṣẹ ni aaye wiwaba dinku iye owo iṣiro?
Duro - idi to pe ni pe akoj wiwakọ kere pupọ (nigbagbogbo ~ 48x) ju aworan ẹbun lọ, nitorinaa igbesẹ ikọlu kọọkan nilo awọn FLOPs ati iranti diẹ diẹ sii.
Ewo ni awoṣe orisun-ìmọ ti o gbajumo ni ikede itanka wiwaba?
Itankale Idurosinsin, ti a tu silẹ ni ọdun 2022, mu itankale wiwaba wa si ohun elo olumulo ati isọdọmọ lọpọlọpọ.