পরবর্তী আপপরবর্তী গাইড
এআই ভিডিও জেনারেশনে ক্যামেরা নিয়ন্ত্রণ
ভিজ্যুয়াল এআই
ভিজ্যুয়াল এআই গাইড
ইমেজ-টু-ভিডিও জেনারেশন একটি একক স্থির ছবিকে একটি ছোট ভিডিও ক্লিপে পরিণত করে।
এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~3 min
মডেলটি প্রথম ফ্রেম বা ভিজ্যুয়াল অ্যাঙ্কর হিসাবে চিত্রটিকে ব্যবহার করে এবং সেখান থেকে প্রশংসনীয় গতি উদ্ভাবন করে। এটি গুরুত্বপূর্ণ কারণ নির্মাতারা একটি শটকে অ্যানিমেট করার আগে ঠিক কেমন দেখায় তা ঠিক করতে পারেন, যা একা পাঠ্য থেকে ভিডিও খুব কমই অনুমতি দেয়৷
বেশিরভাগ বর্তমান ইমেজ-টু-ভিডিও সিস্টেম হল সুপ্ত ভিডিও ডিফিউশন মডেল। ইনপুট ইমেজ একটি অটোএনকোডার দ্বারা একটি সুপ্ত মধ্যে সংকুচিত হয়, এবং সেই সুপ্তটিকে প্রতিটি ধাপে ডিনোইসিং নেটওয়ার্কে দেওয়া হয়, প্রায়শই এটি প্রতিটি ফ্রেমের শোরগোলযুক্ত প্রচ্ছন্নতার সাথে চ্যানেল অনুসারে সংযুক্ত করে। অনেক মডেল ক্রস-অ্যাটেনশনের মাধ্যমে ইমেজের একটি শব্দার্থিক এম্বেডিং, যেমন একটি CLIP ইমেজ এম্বেডিং ইনজেক্ট করে। টেম্পোরাল অ্যাটেনশন লেয়ারগুলি ফ্রেমগুলিকে তথ্য শেয়ার করতে দেয়, তাই মডেলটি প্রদত্ত চিত্র থেকে শুরু হওয়া একটি সুসংগত ক্লিপে সমস্ত ফ্রেমকে একসাথে অস্বীকার করে৷ 2023 সালের নভেম্বরে Stability AI দ্বারা প্রকাশিত স্টেবল ভিডিও ডিফিউশন হল 14-ফ্রেম এবং 25-ফ্রেম ভেরিয়েন্ট সহ একটি ভাল-নথিভুক্ত খোলা উদাহরণ। বাণিজ্যিক সরঞ্জাম যেমন Runway, Kling, Luma ড্রিম মেশিন এবং Google-এর Veo ইমেজ-টু-ভিডিও অফার করে, এবং Wan এবং HunyuanVideo-এর মতো ওপেন মডেলগুলির ইমেজ-কন্ডিশন্ড সংস্করণ রয়েছে। গতি শক্তি বিভিন্ন উপায়ে নিয়ন্ত্রিত হয়. স্থিতিশীল ভিডিও ডিফিউশন একটি "মোশন বাকেট" মান নেয়, কতটা অপটিক্যাল ফ্লো ট্রেনিং ক্লিপ রয়েছে এবং ফ্রেম-রেট কন্ডিশনিং থেকে শিখেছে। এটি কন্ডিশনার ইমেজে শব্দ যোগ করে। এই নয়েজ অগমেন্টেশন ভিডিওটিকে ইনপুট থেকে আরও দূরে যেতে দেয়, আরও গতি দেয় কিন্তু কম বিশ্বস্ততা দেয়। বাণিজ্যিক সরঞ্জামগুলি সাধারণত একটি মোশন স্লাইডার, ক্যামেরা প্রিসেট বা গতি বর্ণনা করে একটি পাঠ্য প্রম্পট প্রকাশ করে। সাধারণ নিদর্শনগুলির মধ্যে রয়েছে মরফিং (বস্তুগুলি একে অপরের মধ্যে গলে যাওয়া), কয়েক সেকেন্ডের পরে মুখের মধ্যে পরিচয় প্রবাহ, দ্রুত চলাচলের সময় অতিরিক্ত বা বিকৃত অঙ্গ, এবং টেক্সচার সাঁতার, যেখানে সূক্ষ্ম নিদর্শনগুলি পৃষ্ঠ জুড়ে স্লাইড বলে মনে হয়। অন্যান্য সাধারণ সমস্যাগুলি হল একটি ফ্ল্যাট "2.5D" প্যারালাক্স লুক, কম গতির সেটিংসে প্রায় হিমায়িত আউটপুট এবং তরল এবং কাপড়ে পদার্থবিদ্যার ত্রুটি। একটি সাধারণ ভুল ধারণা হল যে মডেল 3D দৃশ্য বোঝে। এটি যুক্তিসঙ্গত পিক্সেলের পূর্বাভাস দেয়। যখন একটি চলমান বস্তু প্রকাশ করে যে এটির পিছনে কী ছিল, মডেলটির সেই অঞ্চল সম্পর্কে কোনও তথ্য নেই এবং এটি আবিষ্কার করে।
একজন প্রোডাক্ট ফটোগ্রাফার একটি সুগন্ধি বোতলের একটি স্টিলকে অ্যানিমেট করে প্রবাহিত কুয়াশা এবং ধীরগতিতে পুশ-ইন করে, একটি ভিডিও শ্যুট ছাড়াই পাঁচ সেকেন্ডের একটি সামাজিক বিজ্ঞাপন তৈরি করে৷
একটি জাদুঘর একটি স্ক্যান করা ল্যান্ডস্কেপ পেইন্টিংকে অ্যানিমেট করে যাতে মেঘের স্রোত ও জলের ঢেউ ওঠে এবং ক্লিপটিকে গ্যালারিতে AI-উত্পন্ন হিসাবে লেবেল করে৷
একজন চলচ্চিত্র নির্মাতা একটি চিত্র মডেল সহ দুটি স্টোরিবোর্ড ফ্রেম তৈরি করে, তারপর তাদের মধ্যে একটি নিয়ন্ত্রিত রূপান্তর পেতে একটি প্রথম এবং শেষ-ফ্রেম ভিডিও মোড ব্যবহার করে।
একজন শৌখিন ব্যক্তি স্থানীয়ভাবে স্টেবল ভিডিও ডিফিউশন চালান, একটি শান্ত সমুদ্র সৈকতের ছবিকে বিধ্বস্ত তরঙ্গে পরিণত করার জন্য মোশন সেটিং বাড়ান এবং ব্যাকগ্রাউন্ডে মুখগুলিকে বিকৃত হতে দেখেন৷
ক্লিপের দৈর্ঘ্য, রেজোলিউশন এবং গতির সমন্বয় ক্রমশ উন্নত হয়েছে, এবং প্রথম এবং শেষ-ফ্রেম নিয়ন্ত্রণ এবং ক্যামেরা প্রিসেটগুলি মানক বৈশিষ্ট্য হয়ে উঠছে। শারীরিকভাবে সঠিক গতি, দীর্ঘ ক্লিপগুলির উপর স্থিতিশীল পরিচয়, এবং আবদ্ধ অঞ্চলগুলির নির্ভরযোগ্য পরিচালনা একটি সাধারণ সমাধান ছাড়াই এখনও কঠিন সমস্যা। আকস্মিক লাফানোর পরিবর্তে ধীরে ধীরে লাভ আশা করুন। যেহেতু অ্যানিমেটেড স্থিরচিত্রগুলি বাস্তব ফুটেজ থেকে আলাদা করে বলা কঠিন হয়ে যায়, তাই বিষয়বস্তুর প্রমাণপত্র এবং স্পষ্ট লেবেলিংয়ের মতো মূল পদ্ধতিগুলি সংবাদ, সংরক্ষণাগার এবং শিক্ষার জন্য আরও গুরুত্বপূর্ণ হবে৷
ফ্রি নিউজলেটার
প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।
প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।
নিজেকে পরীক্ষা করুন
প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।
ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন
ইমেজ-টু-ভিডিও জেনারেশন একটি একক স্থির ছবিকে একটি ছোট ভিডিও ক্লিপে পরিণত করে। মডেলটি প্রথম ফ্রেম বা ভিজ্যুয়াল অ্যাঙ্কর হিসাবে চিত্রটিকে ব্যবহার করে এবং সেখান থেকে প্রশংসনীয় গতি উদ্ভাবন করে। এটি গুরুত্বপূর্ণ কারণ নির্মাতারা একটি শটকে অ্যানিমেট করার আগে ঠিক কেমন দেখায় তা ঠিক করতে পারেন, যা একা পাঠ্য থেকে ভিডিও খুব কমই অনুমতি দেয়৷
ইনপুট ক্লিপ নোঙ্গর করে, প্রতিটি denoising ধাপে প্রতিটি ফ্রেমের শোরগোল প্রচ্ছন্ন চিত্রটি স্ট্যাক করা হয়।
প্রশিক্ষণের ক্লিপগুলি কতটা অপটিক্যাল প্রবাহ রয়েছে তার ভিত্তিতে গোষ্ঠীভুক্ত করা হয়েছিল, তাই মানটি আউটপুট কতটা নড়াচড়া করে তা নির্দেশ করে।
অবস্থার উপর আরও বেশি শব্দ অ্যাঙ্করটিকে আলগা করে, তাই ভিডিওটি ইনপুট থেকে আরও দূরে চলে যায়: আরও গতি, আরও প্রবাহ৷
একটি একক ছবিতে কী লুকানো আছে সে সম্পর্কে কিছুই নেই এবং মডেলটি 3D দৃশ্যের পুনর্গঠন করে না, তাই এটি অনুমান করে।
প্রতিটি সেগমেন্ট উত্তরাধিকারসূত্রে প্রাপ্ত হয় এবং পূর্ববর্তী সেগমেন্টের ত্রুটিগুলি যোগ করে, তাই বারবার এক্সটেনশনের উপর যৌগগুলি ড্রিফট করে।
শিখতে থাকুন
এই বিষয়ের জন্য বাছাই করা আরও গাইড
পরবর্তী আপপরবর্তী গাইড
এআই ভিডিও জেনারেশনে ক্যামেরা নিয়ন্ত্রণ
ভিজ্যুয়াল এআই