SelanjutnyaPanduan berikutnya
Sora dan Teks-ke-Video
AI visual
PANDUAN AI Visual
Buat-A-Video Teks-ke-Video
Make-A-Video adalah sistem Meta tahun 2022 yang mengubah perintah teks menjadi klip video pendek tanpa pernah melatih pasangan teks-video berlabel.
Dengarkan panduan iniDiceritakan oleh AI · ~2 min
Di halaman ini2 menit membaca
Ikhtisar
It matters because it showed that the visual knowledge inside text-to-image models could be 'taught' to move using only unlabeled video.
Menyelam Lebih Dalam
Make-A-Video, announced by Meta AI in September 2022, generates brief video clips from text prompts. Its key trick is decoupling appearance from motion: a text-to-image model learns what things look like from paired text-image data, while separate spatiotemporal layers learn how they move from video footage with no associated text. Meta said this reduced the need for paired text-video examples and that the research used publicly available datasets. Meta also described making videos from images and creating new videos similar to existing videos. The base model produces low-resolution, low-frame-rate clips, then dedicated networks interpolate extra frames and upscale spatial resolution. The result was strikingly coherent for its era, though clips were short, blurry, and prone to flicker and warping.
Implementasi Dunia Nyata
Menganimasikan satu kalimat deskriptif menjadi klip perulangan pendek untuk postingan media sosial
Menghidupkan konsep statis seperti 'boneka beruang yang sedang melukis potret' sebagai ilustrasi bergerak
Menginterpolasi antara dua gambar diam yang disediakan pengguna untuk membuat video transisi yang mulus
Menghasilkan draf gerak cepat dari adegan yang dibayangkan untuk pembuatan storyboard sebelum pembuatan film apa pun
Masa Depan Teks-ke-Video Make-A-Video
Resep gambar-sebelum-plus-gerakan-tanpa label Make-A-Video mengungguli seluruh gelombang teks-ke-video. Keturunannya menekankan klip yang lebih panjang, beresolusi lebih tinggi, dan stabil sementara dengan gerakan kamera dan audio yang dapat dikontrol. Harapkan ide inti, menggunakan kembali pengetahuan gambar dalam jumlah besar dan mempelajari gerakan dengan murah, akan tetap bertahan bahkan ketika arsitektur beralih ke difusi laten berbasis transformator dan model terpadu yang juga menerima pengondisian gambar atau video untuk pengeditan dan kelanjutan.
Mempraktikkannya
Mengapa itu penting
- Kecepatan dan skala. Visual AI dapat mengotomatiskan tugas inspeksi, deteksi, dan penandaan dalam skala besar.
- Pilihan Build. Tim kreatif dapat membuat prototipe konsep lebih cepat dengan lebih sedikit revisi manual.
- Tim dan alur kerja. Pengoperasiannya dapat menggunakan sinyal gambar dan video yang sebelumnya sulit diproses.
Hati-hati
- Hak citra dan persetujuan dapat menjadi risiko hukum jika asal usulnya tidak jelas.
- Performa model dapat bervariasi berdasarkan pencahayaan, demografi, dan lingkungan.
- Positif palsu mungkin tidak diketahui kecuali ambang batas keyakinan dipantau.
Langkah selanjutnya
- Tentukan kriteria penerimaan untuk biaya presisi, penarikan kembali, dan kesalahan.
- Uji dengan data yang sesuai dengan kondisi produksi sebenarnya.
- Tambahkan tinjauan manusia untuk prediksi dengan tingkat keyakinan rendah atau dampak tinggi.
- Lacak penyimpangan model dan validasi ulang setelah kamera atau kumpulan data berubah.
Terus Menjelajah
Buletin gratis
Dapatkan pengarahan AI harian
Tiga cerita AI terverifikasi setiap pagi hari kerja, ditulis dalam bahasa Inggris sederhana. Gratis selamanya, tanpa iklan.
Satu email setiap hari kerja. Berhenti berlangganan dalam satu klik. Kami tidak pernah menjual atau membagikan alamat Anda.
Uji diri Anda sendiri
Take the Make-A-Video Text-to-Video quiz
Umpan balik instan untuk setiap jawaban, dan sertifikat yang dapat dibagikan dengan ID yang dapat diverifikasi setelah Anda lulus kursus.
Mendukung pendidikan AI gratis. AI Understanding adalah organisasi nirlaba 501(c)(3) — tanpa iklan, tanpa paywall, selamanya. Berikan sumbangan
Pertanyaan yang sering diajukan
What is Make-A-Video Text-to-Video?
Make-A-Video adalah sistem Meta tahun 2022 yang mengubah perintah teks menjadi klip video pendek tanpa pernah melatih pasangan teks-video berlabel. Hal ini penting karena menunjukkan bahwa pengetahuan visual dalam model text-to-image dapat 'diajarkan' untuk bergerak hanya dengan menggunakan video tanpa label.
Apa inovasi utama yang membuat Make-A-Video tidak lagi membutuhkan pasangan teks-video yang diberi label?
Make-A-Video memisahkan masalah ini: model teks-ke-gambar mempelajari tampilan sesuatu dari gambar yang diberi teks, sementara lapisan temporal yang terpisah mempelajari gerakan dari video mentah yang tidak diberi label.
Bagaimana Make-A-Video menambahkan kemampuan gerakan pada model gambar?
Ini memperluas konvolusi dan perhatian spasial 2D dengan lapisan temporal baru yang mempelajari bagaimana konten berubah seiring waktu.
Apa yang dilakukan tahap interpolasi bingkai dan resolusi super?
Setelah draf kasar beresolusi rendah dan kecepatan bingkai rendah, interpolasi menambahkan bingkai dan modul resolusi super menaikkan resolusi.
Apa batasan umum keluaran Make-A-Video?
Klip hanya berdurasi beberapa detik, resolusi relatif rendah, dan rentan terhadap kedipan dan distorsi sementara.
Besides text prompts, what visual input can Make-A-Video use to create a video?
Meta said Make-A-Video can create videos from images as well as text prompts.
Teruslah belajar
Panduan terkait
Panduan lainnya dipilih untuk topik ini