SeterusnyaPanduan seterusnya
Mengapa Video AI Mendapat Kesalahan Fizik
AI Visual
PANDUAN AI Visual
Ketekalan sementara ialah keupayaan model video AI untuk memastikan muka, objek, tekstur dan pencahayaan stabil dari satu bingkai ke bingkai seterusnya.
Dengar panduan iniAI-diceritakan · ~3 min
Kelipan ialah perkara yang anda lihat apabila ia gagal: butiran berkilauan, beralih atau bertukar secara senyap antara bingkai. Ini penting kerana penonton melihat walaupun perubahan bingkai ke bingkai yang kecil, dan ia adalah salah satu tanda paling jelas bahawa rakaman dihasilkan dan bukannya difilemkan.
Flicker mula-mula menjadi masalah yang diketahui secara meluas apabila orang membuat video dengan penjana imej. Jika anda menafikan setiap bingkai secara berasingan, setiap bingkai bermula daripada hingar rawaknya sendiri dan membuat pilihan kecil sendiri tentang tekstur, helaian rambut atau corak pada baju. Setiap bingkai kelihatan baik sahaja, tetapi dimainkan mengikut urutan pilihan bebas itu dibaca sebagai berkilauan. Penjana video moden, termasuk Stable Video Diffusion (2023), OpenAI's Sora (dipratonton pada 2024), Runway's Gen-3 dan Google's Veo model, menjana bingkai bagi klip masa yang dimampatkan bersama-sama dalam satu ruang, jadi dimampatkan menggunakan bingkai masa mengikut ruang. yang lain. Itulah sebab utama klip terbaru lebih mantap daripada percubaan awal. Drift masih berlaku, atas beberapa sebab. Perincian halus dan frekuensi tinggi seperti rambut, dedaunan, air dan teks pada skrin adalah yang paling sukar, kerana ralat kecil dalam butiran kecil kelihatan seperti berkilau. Apabila sesuatu disembunyikan di sebalik objek lain, model perlu membawa penampilannya melalui celah, dan ia mungkin membawanya kembali sedikit berbeza. Video yang lebih panjang selalunya dibina dengan memanjangkan atau mencantum klip yang lebih pendek, dan kerana model hanya melihat tetingkap terhad bagi bingkai terkini, identiti boleh merayau dari semasa ke semasa. Mampatan dalam pengekod auto video juga boleh menambah artifak tempat ketulan bergabung. Terdapat beberapa salah faham yang biasa. Flicker bukan terutamanya masalah kadar bingkai, dan meningkatkan resolusi tidak menyelesaikannya dengan sendirinya. Pasca pemprosesan boleh melancarkan kecerahan kelipan, tetapi ia tidak dapat memulihkan wajah watak setelah ia berubah. Interpolasi bingkai boleh menjadikan gerakan kelihatan lebih lancar, tetapi ia juga boleh mencalit hanyut merentasi bingkai baharu. Pembetulan sebenar berlaku semasa penjanaan: perhatian sementara, penyesuaian imej rujukan dan penyebaran maklumat daripada bingkai terdahulu kepada bingkai yang kemudian.
Jaket watak yang dihasilkan mempunyai tiga butang dalam satu bingkai dan empat seketika kemudian, kemudian tiga lagi, kerana butiran halus tidak diikat dengan kuat pada bingkai sebelumnya.
Seorang penghobi menjalankan model imej bingkai demi bingkai di atas klip tarian untuk menjadikannya kelihatan seperti lukisan minyak, dan sapuan berus latar belakang merangkak dan mendidih kerana setiap bingkai bermula daripada bunyi rawak yang berbeza.
Seorang editor menggunakan penapis penyahpelik pada klip AI untuk melancarkan denyutan kecerahan antara bingkai. Pencahayaan stabil, tetapi wajah yang berubah bentuk secara perlahan-lahan kekal seperti sedia ada, kerana penapis hanya membetulkan kecerahan.
Pencipta bermula daripada foto rujukan watak dalam mod imej-ke-video alat, jadi bingkai pertama terkunci dalam identiti dan wajah itu dipegang lebih mantap daripada gesaan teks sahaja.
Penyelidikan tertumpu pada konteks yang lebih panjang dan ingatan eksplisit, jadi model boleh mengingati watak atau bilik merentas minit dan bukannya saat. Penjanaan autoregresif dengan konteks cache, pelaziman rujukan yang lebih baik dan penguncian aksara berbilang syot adalah arah aktif dalam kedua-dua alat penyelidikan dan komersial. Penanda aras seperti VBench sudahpun menjaringkan dimensi seperti kelipan temporal dan ketekalan subjek secara berasingan, yang menjadikan kemajuan lebih mudah untuk diukur. Klip pendek berkemungkinan akan terus bertambah baik dengan lebih pantas daripada yang panjang, kerana kos meningkat dengan mendadak mengikut panjang. Ketekalan merentasi suntingan, oklusi dan pemotongan adegan masih menjadi masalah terbuka dan bukannya penyelesaian.
Newsletter percuma
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Ketekalan sementara ialah keupayaan model video AI untuk memastikan muka, objek, tekstur dan pencahayaan stabil dari satu bingkai ke bingkai seterusnya. Kelipan ialah perkara yang anda lihat apabila ia gagal: butiran berkilauan, beralih atau bertukar secara senyap antara bingkai. Ini penting kerana penonton melihat walaupun perubahan bingkai ke bingkai yang kecil, dan ia adalah salah satu tanda paling jelas bahawa rakaman dihasilkan dan bukannya difilemkan.
Apabila bingkai ditolak secara bebas, masing-masing membuat pilihan kecil sendiri tentang tekstur dan perincian. Dimainkan dalam urutan, pilihan yang tidak berkaitan itu kelihatan seperti berkilauan.
Menjana klip secara keseluruhan, dengan perhatian yang menghubungkan bingkai, membolehkan setiap bingkai dibentuk oleh yang lain, yang mengurangkan hanyut bebas.
Ralat kecil secara terperinci kelihatan seperti berkilau atau berkilauan, jadi rambut, daun, air dan teks adalah titik lemah yang biasa.
Alat deflicker meratakan perubahan pencahayaan. Mereka tidak boleh memulihkan butiran identiti atau objek yang diubah oleh penjana.
Jika keadaan model hanya pada bingkai terkini, perubahan kecil akan bertimbun dan watak boleh tersasar daripada penampilan pertama.
Teruskan belajar
Lebih banyak panduan dipilih untuk topik ini
SeterusnyaPanduan seterusnya
Mengapa Video AI Mendapat Kesalahan Fizik
AI Visual