ድብቅ ስርጭት ሞዴሎች መመሪያ

አጠቃላይ እይታ

They are the engine behind Stable Diffusion and most modern open-source image generators.

ጥልቅ ዳይቭ

መደበኛ ስርጭት ሞዴል የጩኸት ሂደትን መቀልበስ ይማራል: ከንጹህ ድምጽ ይጀምራል እና ቀስ በቀስ ወደ ምስል ይወድቃል. 512x512 ምስል በመቶ ሺዎች የሚቆጠሩ እሴቶች ስላለው ይህንን በቀጥታ በፒክሰሎች ላይ ማድረግ ውድ ነው. በ2022 በሮምባች እና ባልደረቦቹ አስተዋወቀው ድብቅ ስርጭት ምስሉን ወደ ትንሽ ድብቅ ፍርግርግ ለመጠቅለል ቀድሞ የሰለጠነ ተለዋዋጭ አውቶኢንኮደር (VAE) ይጠቀማል (ብዙውን ጊዜ 64x64x4፣ በግምት 48x ያነሰ)። የስርጭቱ ዩ-ኔት ከዚያ በድብቅ ቦታ በጽሁፍ በመመራት ማውገዝን ይማራል። በመጨረሻም የ VAE ዲኮደር ባለ ሙሉ ጥራት ፒክሰሎችን ይገነባል። ይህ የማስተዋል መጭመቅ የትርጓሜ ትርጉም ያለው መረጃን ያቆያል እና ለመረዳት የማይቻሉ ዝርዝሮችን በመጣል ከፍተኛ ጥራት ያለው ትውልድ በተጠቃሚ ጂፒዩዎች ላይ እንዲሰራ ያደርገዋል።

ቴክኒካዊ ግንዛቤ

ዋናው ዘዴ የማስተዋል መጨናነቅን ከጄነሬቲቭ ሞዴሊንግ መለየት ነው። VAE የከፍተኛ-ድግግሞሽ ፒክሰል ዝርዝርን አንድ ጊዜ ያስተናግዳል፣ እና ዩ-ኔት ዝቅተኛ-ልኬት ድብቅ ስርጭትን ብቻ ነው የሚመስለው። የጽሑፍ ማቀናበሪያ ትኩረት ተሻጋሪ ንብርብሮች ውስጥ በመርፌ ነው, የ U-Net የመገኛ ቦታ ባህሪያት እንደ CLIP የጽሑፍ ኢንኮደር ወደ ማስመሰያ መክተቻዎች. ድብቅ ሥዕሎቹ ከፒክሰሎች በ48 እጥፍ ያነሱ በመሆናቸው እያንዳንዱ የማስተባበያ እርምጃ በሁለቱም ማህደረ ትውስታ እና FLOPs በሚያስደንቅ ሁኔታ ርካሽ ነው።

ስልታዊ ተጽእኖ

ፍጥነት እና ልኬት

ቪዥዋል AI የመመርመሪያ፣ የማወቅ እና የመለያ ስራዎችን በሚዛን መጠን በራስ ሰር ሊያደርግ ይችላል።

ምርጫዎችን ይገንቡ

የፈጠራ ቡድኖች በጥቂት የእጅ ክለሳዎች ጽንሰ-ሀሳቦችን በፍጥነት መተየብ ይችላሉ።

ቡድን እና የስራ ፍሰት

ክዋኔዎች ከዚህ ቀደም ለማስኬድ አስቸጋሪ የነበሩትን የምስል እና የቪዲዮ ምልክቶችን መጠቀም ይችላሉ።

የድብቅ ስርጭት ሞዴሎች የወደፊት ጊዜ

ድብቅ ስርጭት ከምስሎች አልፎ ወደ ቪዲዮ (Stable Video Diffusion)፣ 3D ንብረቶች እና የኦዲዮ ስፔክትሮግራሞች እየሰፋ ነው፣ ሁሉም ተመሳሳይ የመጭመቂያ-ከዛ-denoise አዘገጃጀትን በመጠቀም። ምርምር በዲቲሌሽን እና ወጥነት ባለው ሞዴሎች፣ ጥሩ ጽሑፍን እና ፊቶችን የሚጠብቁ የተሻሉ VAEs እና እንደ በStable Diffusion 3 ውስጥ ያሉ የተስተካከሉ ወራጅ ቀመሮች ፈጣንና የተሳለ ውጤት ለማግኘት የትውልዱን አቅጣጫ የሚያቀናሉ ወደ ጥቂት የናሙና ደረጃዎች እየገፋ ነው።

የእውነተኛ-ዓለም አተገባበር

የተረጋጋ ስርጭትን በአንድ የሸማች ጂፒዩ ላይ ከጽሑፍ መጠየቂያዎች የጥበብ ስራዎችን እና የፅንሰ-ሀሳብ ንድፎችን የሚያመነጭ

አዶቤ እና ካንቫ ጽሑፍን ወደ ምስል ማጎልበት እና በድብቅ ስርጭት የጀርባ አጥንቶች ላይ የተገነቡ አመንጭ-ሙላ ባህሪያት

የቅድመ-ምርት ሂደትን ለማፋጠን የሸካራነት ካርታዎችን፣ sprites እና የአካባቢ ጽንሰ-ሀሳብ ጥበብን የሚያመርቱ የጨዋታ ስቱዲዮዎች

የአክሲዮን ምስል እና የግብይት ቡድኖች ያለ ፎቶግራፍ ማንሳት የምርት ስም የሆኑ የምርት መሳለቂያዎችን እና የማስታወቂያ ምስሎችን ይፈጥራሉ

አደጋዎች እና የጥበቃ መንገዶች

የምስል መብቶች እና ፈቃድ ግልጽ ካልሆነ ህጋዊ አደጋዎች ሊሆኑ ይችላሉ።

የሞዴል አፈጻጸም በብርሃን፣ በስነ-ሕዝብ እና በአካባቢው ሊለያይ ይችላል።

የመተማመን ገደቦች ካልተቆጣጠሩ የውሸት አወንታዊ ነገሮች ላይታዩ ይችላሉ።

የትግበራ ፍኖተ ካርታ

ለትክክለኛነት፣ ለማስታወስ እና ለስህተት ወጪዎች የመቀበያ መስፈርቶችን ይግለጹ።

ከእውነተኛ የምርት ሁኔታዎች ጋር በሚዛመድ ውሂብ ይሞክሩ።

ለዝቅተኛ እምነት ወይም ከፍተኛ ተጽዕኖ ትንበያ የሰው ግምገማን ያክሉ።

ከካሜራ ወይም የውሂብ ስብስብ ለውጦች በኋላ የሞዴሉን ተንሸራታች ይከታተሉ እና እንደገና ያረጋግጡ።

ማሰስዎን ይቀጥሉ

የኮምፒውተር እይታ

ምስላዊ AIን የሚያበረታቱ መሰረታዊ ስርዓቶችን ይረዱ።

መመሪያ ያንብቡ

AI ምስል ማመንጨት

የፍጥረት የስራ ፍሰቶችን እና የሞዴል ንግድን ያስሱ።

መመሪያ ያንብቡ

Free newsletter

Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.

One email each weekday. Unsubscribe in one click. We never sell or share your address.

Test yourself

Take the Latent Diffusion Models quiz

Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.

ጥያቄ ጀምር

Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation

ቀጣይ መመሪያ

የቪዲዮ ስርጭት ሞዴሎች

ቀጣዩን መመሪያ ያንብቡ ሁሉንም ጥያቄዎች ያስሱ

በተደጋጋሚ የሚጠየቁ ጥያቄዎች

What is Latent Diffusion Models?

ድብቅ ስርጭት ሞዴሎች የማሰራጨት ሂደቱን ከጥሬ ፒክሰሎች ይልቅ በተጨመቀ ድብቅ ቦታ ውስጥ በማስኬድ ምስሎችን ያመነጫሉ። ከStable Diffusion ጀርባ ያለው ሞተር እና በጣም ዘመናዊ የክፍት ምንጭ ምስል ማመንጫዎች ናቸው።

ከፒክሴል-ቦታ ስርጭት ጋር ሲነፃፀር የድብቅ ስርጭት ሞዴሎች ዋና ፈጠራ ምንድነው?

ድብቅ ስርጭት VAEን በመጠቀም ምስሎችን ወደ ትንሽ ድብቅ ቦታ ይጨመቃል፣ ስለዚህ ውድው ውድቅ የተደረገው ከሙሉ ፒክሰሎች ባነሰ ዋጋዎች ነው።

ምስልን ወደ ድብቅ ቦታ የሚጨምቀው እና ከዚያ በኋላ የሚገነባው የትኛው አካል ነው?

ቀድሞ የሰለጠነ VAE ምስሉን ወደ የታመቀ ድብቅ ፍርግርግ ያስገባዋል እና ዲኮዲተሩ በመጨረሻ ባለ ሙሉ ጥራት ፒክስሎችን ይገነባል።

በድብቅ ስርጭት ውስጥ ጽሁፍ በተለምዶ ዩ-ኔትን ወደሚያስተባብለው እንዴት ነው የሚወጋው?

የማስመሰያ መክተቻዎች ከጽሑፍ ኢንኮደር ወደ ተሻጋሪ ንብርብሮች ይመገባሉ፣ ይህም የቦታ ባህሪያት ጥያቄውን እንዲከታተሉ ያስችላቸዋል።

ለምንድነው በድብቅ ቦታ መስራት የስሌት ወጪን የሚቀንስ?

ቆይ - ትክክለኛው ምክንያት የድብቅ ፍርግርግ ከፒክሰል ምስል በጣም ያነሰ (ብዙውን ጊዜ ~48x) ስለሆነ እያንዳንዱ የማስተባበያ እርምጃ በጣም ያነሰ FLOPs እና ማህደረ ትውስታ ያስፈልገዋል።

የትኛው በስፋት ጥቅም ላይ የዋለ የክፍት ምንጭ ሞዴል በድብቅ ስርጭት ታዋቂ ያደረገው?

በ2022 የተለቀቀው የተረጋጋ ስርጭት ለሸማች ሃርድዌር እና በጅምላ ጉዲፈቻ ላይ ድብቅ ስርጭትን አምጥቷል።