ቪዥዋል AI መመሪያ

DreamFusion እና Score Distillation Sampling

DreamFusion የ 2D ምስል ስርጭት ሞዴልን እንደ ሃያሲ በመጠቀም 3D ነገሮችን ከጽሑፍ ያመነጫል፣ በማንኛውም የ3D ውሂብ ላይ በጭራሽ አይለማመድም።

2 ሚን አንብብለመጨረሻ ጊዜ የዘመነው

አጠቃላይ እይታ

Its core invention, Score Distillation Sampling, became the foundational recipe for the entire text-to-3D field.

ጥልቅ ዳይቭ

DreamFusion፣ ከGoogle በ2022፣ ጠየቀ፡ የ2ዲ ጽሑፍ-ወደ-ምስል ሞዴል 3D ትእይንት ከየአቅጣጫው በትክክል እንዲታይ ማስተማር ይችላል? በዘፈቀደ የካሜራ እይታዎች ፣ ድምፅ ሲሰማ እና ለቀዘቀዘ የስርጭት ሞዴል (Imagen) ሲታዩ ፣ ለጽሑፍ መጠየቂያው እንደ አሳማኝ ምስሎች እንዲያስመዘግቡ NeRF (የኒውራል ራዲያንስ መስክ)ን ያሻሽላል። በአስፈላጊ ሁኔታ ምንም የ3-ል ስልጠና ውሂብ አይጠቀምም. ግኝቱ የውጤት ስርጭት ናሙና (SDS) ነው፡ በስርጭት ሞዴል ውድ ዩ-ኔት ከመደገፍ ይልቅ ኤስዲኤስ የአምሳያው የተገመተውን ጫጫታ እንደ የግራዲየንት ምልክት በቀጥታ በተሰሩት ፒክስሎች ላይ ይጠቀማል። ይህንን በሺዎች በሚቆጠሩ አመለካከቶች ላይ መደጋገም ከአንዲት አረፍተ ነገር ጀምሮ በጂኦሜትሪ እና በአመለካከት ላይ የተመሰረተ ሙሉ የሆነ ወጥ የሆነ 3D ንብረት ይቀርጻል።

ቴክኒካዊ ግንዛቤ

ኤስዲኤስ የስርጭት ሞዴሉን እንደ የቀዘቀዘ የውጤት አሰጣጥ ተግባር አድርጎ ይወስደዋል። NeRF ን ይሰጣል፣ ጫጫታ ይጨምራል፣ ያንን ድምጽ እንዲተነብይ ዩ-ኔትን ይጠይቃል፣ እና ቅልመትን ያሰላል (የተገመተ ጫጫታ ሲቀነስ የተጨመረው ጫጫታ) ወደ ተቀረጸው ምስል እና በዚህም የኔአርኤፍ ክብደቶች። የዩ-ኔት ጃኮቢያንን መዝለል ትራክት ያደርገዋል። ከፍተኛ ክላሲፋይፋየር-ነጻ መመሪያ (100 አካባቢ) ስለታም ውጤቶች ያስፈልጋል፣ ይህም ባህሪው ከመጠን በላይ የበዛበት፣ አንዳንዴም ብዥታ 'DreamFusion look' ያስከትላል።

ስልታዊ ተጽእኖ

ፍጥነት እና ልኬት

ቪዥዋል AI የመመርመሪያ፣ የማወቅ እና የመለያ ስራዎችን በሚዛን መጠን በራስ ሰር ሊያደርግ ይችላል።

ምርጫዎችን ይገንቡ

የፈጠራ ቡድኖች በጥቂት የእጅ ክለሳዎች ጽንሰ-ሀሳቦችን በፍጥነት መተየብ ይችላሉ።

ቡድን እና የስራ ፍሰት

ክዋኔዎች ከዚህ ቀደም ለማስኬድ አስቸጋሪ የነበሩትን የምስል እና የቪዲዮ ምልክቶችን መጠቀም ይችላሉ።

የ DreamFusion የወደፊት እና የውጤት ዲስቲልሽን ናሙና

ኤስዲኤስ ድክመቶቹን የሚያስተካክል የበለጸገ የስራ መስመር ፈጥሯል፡ Magic3D ለችግሮች እና ፍጥነት፣ የProlificDreamer's Variational Score Distillation ለተሳለ፣ የበለጠ የተለያዩ ውጤቶች እና የ'Janus' ባለብዙ ገጽታ ቅርስ ቅርስ። መስኩ ከጊዜ ወደ ጊዜ ኤስዲኤስን ከብዙ እይታ ስርጭት ቀዳሚዎች እና ፈጣን የ3D ውክልናዎች እንደ ጋውስያን ስፕላቲንግ እያጣመረ ነው። ጽሑፍ-ወደ-3D በፍጥነት እና በጂኦሜትሪያዊ ታማኝነት እንዲያድግ፣ በእጅ በሚመስሉ ንብረቶች ያለውን ክፍተት በማጥበብ ይጠብቁ።

የእውነተኛ-ዓለም አተገባበር

ከጽሑፍ ብቻ 'ትንሽ ኮፍያ ለብሳ የጊንጫ DSLR ፎቶ' 3D ሞዴል ማመንጨት

በእጅ 3D ቅርፃቅርፅ ያለ ረቂቅ ጨዋታ እና የኤአር ንብረቶችን መፍጠር

ከባዶ ከመገንባቱ ይልቅ አርቲስቶች የሚያጠሩዋቸውን ወደ ውጭ የሚላኩ መረቦችን ማምረት

አዳዲስ የጽሑፍ-ወደ-3D ዘዴዎችን ከኤስዲኤስ ጋር ለመገምገም የምርምር መነሻዎች

አደጋዎች እና የጥበቃ መንገዶች

የምስል መብቶች እና ፈቃድ ግልጽ ካልሆነ ህጋዊ አደጋዎች ሊሆኑ ይችላሉ።

የሞዴል አፈጻጸም በብርሃን፣ በስነ-ሕዝብ እና በአካባቢው ሊለያይ ይችላል።

የመተማመን ገደቦች ካልተቆጣጠሩ የውሸት አወንታዊ ነገሮች ላይታዩ ይችላሉ።

የትግበራ ፍኖተ ካርታ

1

ለትክክለኛነት፣ ለማስታወስ እና ለስህተት ወጪዎች የመቀበያ መስፈርቶችን ይግለጹ።

2

ከእውነተኛ የምርት ሁኔታዎች ጋር በሚዛመድ ውሂብ ይሞክሩ።

3

ለዝቅተኛ እምነት ወይም ከፍተኛ ተጽዕኖ ትንበያ የሰው ግምገማን ያክሉ።

4

ከካሜራ ወይም የውሂብ ስብስብ ለውጦች በኋላ የሞዴሉን ተንሸራታች ይከታተሉ እና እንደገና ያረጋግጡ።

ማሰስዎን ይቀጥሉ

የኮምፒውተር እይታ

ምስላዊ AIን የሚያበረታቱ መሰረታዊ ስርዓቶችን ይረዱ።

መመሪያ ያንብቡ

AI ምስል ማመንጨት

የፍጥረት የስራ ፍሰቶችን እና የሞዴል ንግድን ያስሱ።

መመሪያ ያንብቡ

Free newsletter

Get the daily AI briefing

Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.

One email each weekday. Unsubscribe in one click. We never sell or share your address.

Test yourself

Take the DreamFusion and Score Distillation Sampling quiz

Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.

ጥያቄ ጀምር

Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation

ቀጣይ መመሪያ

በውጤት ላይ የተመሰረቱ አመንጪ ሞዴሎች

ቀጣዩን መመሪያ ያንብቡ ሁሉንም ጥያቄዎች ያስሱ

በተደጋጋሚ የሚጠየቁ ጥያቄዎች

What is DreamFusion and Score Distillation Sampling?

DreamFusion የ2ዲ ምስል ስርጭት ሞዴልን እንደ ሃያሲ በመጠቀም 3D ነገሮችን ከጽሑፍ ያመነጫል፣በየትኛውም 3D ውሂብ ላይ በጭራሽ አይለማመድም። ዋናው ፈጠራው፣ Score Distillation Sampling፣ ለመላው የጽሑፍ-ወደ-3D መስክ መሰረታዊ የምግብ አሰራር ሆነ።

DreamFusion የሚያሻሽለው የትኛውን 3D ውክልና ነው?

DreamFusion NeRFን ያሻሽላል ስለዚህም የተቀረጹት እይታዎች የ2D ስርጭት ሞዴልን የጽሑፍ ጥያቄን ያረካሉ።

DreamFusion ምን ያህል የ3-ል ስልጠና ውሂብ ይፈልጋል?

DreamFusion የቀዘቀዘ 2D የጽሑፍ-ወደ-ምስል ስርጭት ሞዴልን እንደ ብቸኛ ቁጥጥር ይጠቀማል፣ ምንም የ3D የሥልጠና ውሂብ አያስፈልገውም።

በውጤት ዲስቲልሽን ናሙና ውስጥ ዋናው የስሌት አቋራጭ ምንድን ነው?

ኤስ.ዲ.ኤስ የተተነበየውን ሲቀነስ የተጨመረውን ጫጫታ እንደ ቀጥተኛ ቅልመት በተሰራው ፒክስሎች ላይ ይጠቀማል፣ ይህም ውድ ከሆነው U-Net Jacobian በማስቀረት።

ለምንድን ነው DreamFusion በጣም ከፍተኛ ክላሲፋየር-ነጻ መመሪያን (~100) ይጠቀማል?

የኤስ.ዲ.ኤስ ቅልመት ጫጫታ እና ደካማ ነው፣ስለዚህ ከመጠን በላይ ሙሌትን የሚያስከትል ቢሆንም ባልተለመደ ሁኔታ ከፍተኛ መመሪያ ለጠራና ፈጣን ጂኦሜትሪ ያስፈልጋል።

የመጀመሪያው DreamFusion እንደ በረዶ የቀደመ የትኛውን 2D ሞዴል ተጠቅሟል?

DreamFusion የተገነባው በGoogle's Imagen የጽሑፍ-ወደ-ምስል ስርጭት ሞዴል ላይ እንደ የታሰረ የውጤት አሰጣጥ ተግባር ነው።

ተዛማጅ መመሪያዎች