लुमियरे स्पेस-टाइम वीडियो जेनरेशन

It matters because it tackles temporal consistency at the architecture level, producing smoother, more coherent motion than pipelines that stitch keyframes together.

2024 की शुरुआत में पेश किया गया, ल्यूमियर कई वीडियो जनरेटर द्वारा उपयोग किए जाने वाले सामान्य 'कीफ्रेम फिर भरें' डिज़ाइन को चुनौती देता है। वे कैस्केड दृष्टिकोण पहले कुछ दूर के कीफ़्रेम उत्पन्न करते हैं और फिर प्रक्षेपित करते हैं, जो झटकेदार या असंगत गति पैदा कर सकते हैं क्योंकि कोई भी एकल नेटवर्क कभी भी पूर्ण समयरेखा नहीं देखता है। इसके बजाय लुमियरे अपने स्पेस-टाइम यू-नेट (STUNet) के साथ एक पास में क्लिप की पूरी अस्थायी अवधि उत्पन्न करता है। नेटवर्क स्थान और समय दोनों में नमूनों को कम करता है, पूरे वीडियो के एक कॉम्पैक्ट प्रतिनिधित्व को एक साथ संसाधित करता है ताकि गति विश्व स्तर पर सुसंगत हो। यह डिज़ाइन छवि-से-वीडियो, इनपेंटिंग, शैलीबद्ध पीढ़ी और 'सिनेमाग्राफ' जैसे संपादन कार्यों की एक श्रृंखला को भी सक्षम बनाता है जो किसी चित्र के केवल एक चयनित क्षेत्र को एनिमेट करते हैं।