ड्रीमबूथ

ड्रीमबूथ मुट्ठी भर तस्वीरों पर एक संपूर्ण छवि मॉडल को ठीक करता है ताकि यह एक विशिष्ट विषय - आपका चेहरा, पालतू जानवर, या उत्पाद - को गहराई से 'याद' रख सके और इसे किसी भी दृश्य में रख सके। यह हल्के वैयक्तिकरण तरीकों की तुलना में उच्च निष्ठा के लिए बड़े फ़ाइल आकार का व्यापार करता है।

Google शोधकर्ताओं द्वारा 2022 में प्रकाशित ड्रीमबूथ, किसी विषय की 3-5 छवियों पर नेटवर्क के भार को वास्तव में ठीक करके टेक्स्ट-टू-इमेज मॉडल को वैयक्तिकृत करता है। यह विषय को एक वर्ग शब्द के साथ जोड़े गए एक दुर्लभ टोकन से बांधता है - उदाहरण के लिए, 'एसकेएस कुत्ते की एक तस्वीर' - इसलिए मॉडल सीखता है कि 'एसकेएस' का अर्थ है *यह विशेष* कुत्ता। एक मुख्य चुनौती 'भाषा बहाव' और ओवरफिटिंग है: बहुत कठिन प्रशिक्षण और मॉडल भूल जाता है कि अन्य कुत्तों को कैसे आकर्षित करना है, या केवल प्रशिक्षण मुद्राओं को दोहराता है। ड्रीमबूथ का मुख्य समाधान एक पूर्व-संरक्षण हानि है: यह सामान्य कुत्तों की मॉडल की स्वयं उत्पन्न छवियों पर भी प्रशिक्षण देता है, व्यापक 'कुत्ते' अवधारणा को प्रस्तोता देता है जबकि दुर्लभ टोकन विशिष्ट विषय को अवशोषित करता है। यह अदायगी आश्चर्यजनक यथार्थवाद और लचीलापन है, जिससे विषय उपन्यास प्रकाश व्यवस्था, पोज़ और शैलियों में दिखाई देता है।