SeterusnyaPanduan seterusnya
Sora dan Teks-ke-Video
AI Visual
PANDUAN AI Visual
Buat-A-Video Teks-ke-Video
Make-A-Video ialah sistem 2022 Meta yang menukar gesaan teks menjadi klip video pendek tanpa pernah melatih pasangan teks-video berlabel.
Dengar panduan iniAI-diceritakan · ~2 min
Pada halaman ini2 min dibaca
Gambaran keseluruhan
It matters because it showed that the visual knowledge inside text-to-image models could be 'taught' to move using only unlabeled video.
Menyelam dalam
Make-A-Video, announced by Meta AI in September 2022, generates brief video clips from text prompts. Its key trick is decoupling appearance from motion: a text-to-image model learns what things look like from paired text-image data, while separate spatiotemporal layers learn how they move from video footage with no associated text. Meta said this reduced the need for paired text-video examples and that the research used publicly available datasets. Meta also described making videos from images and creating new videos similar to existing videos. The base model produces low-resolution, low-frame-rate clips, then dedicated networks interpolate extra frames and upscale spatial resolution. The result was strikingly coherent for its era, though clips were short, blurry, and prone to flicker and warping.
Pelaksanaan Dunia Sebenar
Menghidupkan ayat deskriptif tunggal menjadi klip gelung pendek untuk siaran media sosial
Menghidupkan konsep statik seperti 'teddy bear melukis potret' sebagai ilustrasi yang bergerak
Menginterpolasi antara dua imej pegun yang dibekalkan pengguna untuk mencipta video peralihan yang lancar
Menjana draf gerakan pantas adegan yang dibayangkan untuk papan cerita sebelum sebarang penggambaran
Masa Depan Buat-Video Teks-ke-Video
Resipi gerakan imej-sebelum-tambah-tidak-berlabel Make-A-Video menyemai keseluruhan gelombang teks-ke-video. Keturunannya menekankan klip yang lebih panjang, resolusi lebih tinggi, stabil sementara dengan gerakan kamera dan audio yang boleh dikawal. Jangkakan idea teras, menggunakan semula pengetahuan imej besar-besaran dan gerakan pembelajaran dengan murah, untuk berterusan walaupun seni bina beralih ke arah resapan terpendam berasaskan pengubah dan model bersatu yang turut menerima penyesuaian imej atau video untuk penyuntingan dan penerusan.
Mempraktikkannya
Mengapa ia penting
- Kelajuan dan skala. Visual AI boleh mengautomasikan tugas pemeriksaan, pengesanan dan penandaan pada skala.
- Pilihan binaan. Pasukan kreatif boleh membuat prototaip konsep dengan lebih pantas dengan lebih sedikit semakan manual.
- Pasukan dan aliran kerja. Operasi boleh menggunakan isyarat imej dan video yang sebelum ini sukar diproses.
Berhati-hati untuk
- Hak imej dan persetujuan boleh menjadi risiko undang-undang jika asalnya tidak jelas.
- Prestasi model boleh berbeza mengikut pencahayaan, demografi dan persekitaran.
- Positif palsu mungkin tidak disedari melainkan ambang keyakinan dipantau.
Langkah seterusnya
- Tentukan kriteria penerimaan untuk ketepatan, ingatan semula dan kos ralat.
- Uji dengan data yang sepadan dengan keadaan pengeluaran sebenar.
- Tambahkan semakan manusia untuk ramalan keyakinan rendah atau berimpak tinggi.
- Jejaki hanyut model dan sahkan semula selepas perubahan kamera atau set data.
Teruskan Meneroka
Newsletter percuma
Dapatkan taklimat AI harian
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Take the Make-A-Video Text-to-Video quiz
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Soalan lazim
What is Make-A-Video Text-to-Video?
Make-A-Video ialah sistem 2022 Meta yang menukar gesaan teks menjadi klip video pendek tanpa pernah melatih pasangan teks-video berlabel. Ia penting kerana ia menunjukkan bahawa pengetahuan visual dalam model teks-ke-imej boleh 'diajar' untuk bergerak menggunakan video yang tidak berlabel sahaja.
Apakah inovasi utama yang membolehkan Make-A-Video mengelak daripada memerlukan pasangan teks-video berlabel?
Make-A-Video menyelesaikan masalah: model teks ke imej mempelajari rupa perkara daripada imej berkapsyen, manakala lapisan temporal yang berasingan mempelajari gerakan daripada video mentah yang tidak berlabel.
Bagaimanakah Make-A-Video menambah keupayaan gerakan pada model imej?
Ia memanjangkan lilitan spatial 2D dan perhatian dengan lapisan temporal baharu yang mempelajari cara kandungan berubah dari semasa ke semasa.
Apakah yang dilakukan oleh peringkat interpolasi bingkai dan resolusi super?
Selepas draf resolusi rendah kasar, kadar bingkai rendah, interpolasi menambah bingkai dan modul resolusi super meningkatkan peleraian.
Apakah had biasa output Make-A-Video?
Klip hanya beberapa saat, resolusi yang agak rendah, dan terdedah kepada kelipan sementara dan herotan.
Besides text prompts, what visual input can Make-A-Video use to create a video?
Meta said Make-A-Video can create videos from images as well as text prompts.
Teruskan belajar
Panduan berkaitan
Lebih banyak panduan dipilih untuk topik ini