SeterusnyaPanduan seterusnya
Kawalan Kamera dalam Penjanaan Video AI
AI Visual
PANDUAN AI Visual
Penjanaan imej-ke-video menukar satu imej pegun menjadi klip video pendek.
Dengar panduan iniAI-diceritakan · ~3 min
Model menggunakan imej sebagai bingkai pertama atau sebagai penambat visual dan mencipta gerakan yang munasabah dari sana. Ini penting kerana pencipta boleh membetulkan dengan tepat rupa tangkapan sebelum menganimasikannya, yang jarang dibenarkan dari teks ke video sahaja.
Kebanyakan sistem imej-ke-video semasa ialah model penyebaran video terpendam. Imej input dimampatkan menjadi pendam oleh pengekod auto, dan pendam itu diberikan kepada rangkaian denoising pada setiap langkah, selalunya dengan menggabungkannya mengikut saluran dengan pendam bising setiap bingkai. Banyak model juga menyuntik pembenaman semantik imej, seperti pembenaman imej CLIP, melalui perhatian silang. Lapisan perhatian sementara membenarkan bingkai berkongsi maklumat, jadi model itu mengecilkan semua bingkai bersama-sama menjadi klip koheren yang bermula daripada imej yang diberikan. Penyebaran Video Stabil, dikeluarkan oleh Stability AI pada November 2023, ialah contoh terbuka yang didokumentasikan dengan baik, dengan varian 14 bingkai dan 25 bingkai. Alat komersial seperti Runway, Kling, Luma Dream Machine dan Google Veo menawarkan imej-ke-video, dan model terbuka seperti Wan dan HunyuanVideo mempunyai versi berhawa dingin. Kekuatan pergerakan dikawal dalam beberapa cara. Resapan Video Stabil mengambil nilai "baldi gerakan", belajar daripada jumlah klip latihan aliran optik yang terkandung, serta penyaman kadar bingkai. Ia juga menambah hingar pada imej penyaman udara. Lebih banyak pembesaran hingar ini membolehkan video berlepas lebih jauh daripada input, memberikan lebih banyak gerakan tetapi kurang kesetiaan. Alat komersial biasanya mendedahkan peluncur gerakan, pratetap kamera atau gesaan teks yang menerangkan gerakan itu. Artifak biasa termasuk morphing (objek melebur antara satu sama lain), hanyut identiti pada muka selepas beberapa saat, anggota badan tambahan atau melengkung semasa pergerakan pantas, dan tekstur berenang, di mana corak halus kelihatan meluncur merentasi permukaan. Masalah biasa lain ialah rupa paralaks "2.5D" yang rata, keluaran hampir beku pada tetapan gerakan rendah dan ralat fizik dalam cecair dan kain. Salah tanggapan biasa ialah model memahami adegan 3D. Ia meramalkan piksel yang munasabah. Apabila objek bergerak mendedahkan apa yang ada di belakangnya, model itu tidak mempunyai maklumat tentang kawasan itu dan menciptanya.
Jurugambar produk menghidupkan pegun botol minyak wangi dengan kabus hanyut dan tolak masuk perlahan, menghasilkan iklan sosial lima saat tanpa rakaman video.
Sebuah muzium menghidupkan lukisan landskap yang diimbas supaya awan hanyut dan riak air, dan melabelkan klip itu sebagai yang dijana AI dalam galeri.
Seorang pembuat filem menjana dua bingkai papan cerita dengan model imej, kemudian menggunakan mod video bingkai pertama dan terakhir untuk mendapatkan peralihan terkawal antara mereka.
Seorang penggemar menjalankan Stable Video Diffusion secara tempatan, menaikkan tetapan gerakan untuk menukar foto pantai yang tenang menjadi ombak yang menghempas dan melihat wajah di latar belakang mula meleding.
Panjang klip, peleraian dan keselarasan gerakan telah bertambah baik secara berterusan, dan kawalan bingkai pertama dan terakhir serta pratetap kamera menjadi ciri standard. Pergerakan yang betul secara fizikal, identiti yang stabil pada klip panjang, dan pengendalian kawasan tersumbat yang boleh dipercayai masih merupakan masalah sukar tanpa penyelesaian umum. Jangkakan keuntungan secara beransur-ansur dan bukannya lompatan mendadak. Memandangkan pegun animasi semakin sukar untuk dibezakan selain daripada rakaman sebenar, pendekatan asal seperti bukti kelayakan kandungan dan pelabelan yang jelas akan menjadi lebih penting untuk berita, arkib dan pendidikan.
Newsletter percuma
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Penjanaan imej-ke-video menukar satu imej pegun menjadi klip video pendek. Model menggunakan imej sebagai bingkai pertama atau sebagai penambat visual dan mencipta gerakan yang munasabah dari sana. Ini penting kerana pencipta boleh membetulkan dengan tepat rupa tangkapan sebelum menganimasikannya, yang jarang dibenarkan dari teks ke video sahaja.
Terpendam imej disusun dengan terpendam bising setiap bingkai pada setiap langkah denosing, menambat klip pada input.
Klip latihan dikumpulkan mengikut jumlah aliran optik yang terkandung di dalamnya, jadi nilai itu mengarahkan berapa banyak pergerakan yang ada pada output.
Lebih banyak bunyi dengan syarat melonggarkan sauh, jadi video bertolak lebih jauh daripada input: lebih banyak gerakan, lebih banyak hanyut.
Satu imej tidak mengandungi apa-apa tentang perkara yang tersembunyi, dan model itu tidak membina semula pemandangan 3D, jadi ia meneka.
Setiap segmen mewarisi dan menambah kelemahan segmen sebelumnya, jadi hanyut sebatian ke atas sambungan berulang.
Teruskan belajar
Lebih banyak panduan dipilih untuk topik ini
SeterusnyaPanduan seterusnya
Kawalan Kamera dalam Penjanaan Video AI
AI Visual