Konsistensi Temporal dan Flicker dalam Video AI

Flicker pertama kali menjadi masalah yang diketahui secara luas ketika orang membuat video dengan generator gambar. Jika Anda menolak setiap frame secara terpisah, setiap frame dimulai dari noise acaknya sendiri dan membuat pilihan kecilnya sendiri mengenai tekstur, helaian rambut, atau pola pada kemeja. Setiap frame terlihat baik-baik saja, tetapi dimainkan secara berurutan, pilihan-pilihan independen tersebut dibaca sebagai berkilau. Generator video modern, termasuk Difusi Video Stabil (2023), OpenAI dari Sora (dipratinjau pada tahun 2024), model Gen-3 dari Runway, dan model Veo dari Google, menghasilkan bingkai klip bersama-sama dalam ruang laten terkompresi dan menggunakan perhatian sepanjang waktu, sehingga setiap bingkai dibentuk oleh bingkai lainnya. Itulah alasan utama mengapa klip terbaru jauh lebih stabil dibandingkan eksperimen awal. Drift masih terjadi karena beberapa alasan. Detail halus dan berfrekuensi tinggi seperti rambut, dedaunan, air, dan teks di layar adalah yang paling sulit, karena kesalahan kecil dalam detail kecil akan terlihat seperti kilauan. Ketika ada sesuatu yang tersembunyi di balik objek lain, model harus menampilkan penampilannya melalui celah tersebut, dan model tersebut mungkin memunculkannya kembali dengan sedikit berbeda. Video yang lebih panjang sering kali dibuat dengan memperluas atau menggabungkan klip yang lebih pendek, dan karena model hanya melihat jendela terbatas dari frame terbaru, identitas dapat berpindah-pindah seiring waktu. Kompresi dalam autoencoder video juga dapat menambahkan artefak tempat potongan bergabung. Ada beberapa kesalahpahaman umum. Flicker pada dasarnya bukan masalah kecepatan bingkai, dan meningkatkan resolusi tidak menyelesaikannya dengan sendirinya. Pasca-pemrosesan dapat menghaluskan kedipan kecerahan, namun tidak dapat memulihkan wajah karakter setelah berubah. Interpolasi bingkai dapat membuat gerakan terlihat lebih halus, namun juga dapat mengaburkan penyimpangan pada bingkai baru. Perbaikan nyata terjadi selama pembuatan: perhatian sementara, pengondisian gambar referensi, dan penyebaran informasi dari bingkai sebelumnya ke bingkai berikutnya.