Video Yap Metinden Videoya
Make-A-Video, Meta'nin, etiketli metin-video çiftleri üzerinde hiçbir eğitim gerektirmeden bir metin istemini kısa bir video klibe dönüştüren 2022 sistemidir.
Genel Bakış
It matters because it showed that the visual knowledge inside text-to-image models could be 'taught' to move using only unlabeled video.
Derin Dalış
Meta AI tarafından Eylül 2022'de duyurulan Make-A-Video, 'süper kahraman pelerini giyen bir köpek gökyüzünde uçuyor' gibi bir cümleden birkaç saniyelik bir video oluşturuyor. Temel püf noktası, görünümü hareketten ayırmaktır: metinden görüntüye modeli (CLIP tarzı ortak metin-görüntü alanı ve yayılımı üzerine inşa edilmiştir), milyarlarca altyazılı görüntüden nesnelerin neye benzediğini öğrenirken, ayrı uzay-zamansal katmanlar yalnızca etiketlenmemiş videodan nesnelerin nasıl hareket ettiğini öğrenir. Bu, yüksek kaliteli metin-video çiftlerinin kıtlığını ortadan kaldırır. Temel model, düşük çözünürlüklü, düşük kare hızlı klipler üretir, ardından özel ağlar, ekstra karelerin enterpolasyonunu yapar ve uzaysal çözünürlüğü yükseltir. Klipler kısa, bulanık ve titremeye ve bükülmeye eğilimli olmasına rağmen sonuç, o döneme göre çarpıcı derecede tutarlıydı.
Teknik Bilgi
Make-A-Video, sahte-zamansal katmanlar ekleyerek 2B görüntü oluşturma kıvrımlarını ve dikkati 3B'ye genişletir. Yeni zamansal katmanlar hareketi ham videodan öğrenirken, önceden eğitilmiş uzamsal ağırlıklar dondurulur veya ince ayar yapılır, böylece metin-video etiketlerine gerek kalmaz. Daha sonra bir kare enterpolasyon ağı, zaman çizelgesini yoğunlaştırır ve süper çözünürlüklü dağıtım modülleri, uzamsal ayrıntıları yükselterek kaba 16 karelik, düşük çözünürlüklü bir taslağı, basamaklı bir ardışık düzende daha pürüzsüz, daha keskin bir klibe dönüştürür.
Stratejik Etki
Speed and scale
Visual AI, inceleme, algılama ve etiketleme görevlerini geniş ölçekte otomatikleştirebilir.
Build choices
Yaratıcı ekipler, daha az manuel revizyonla konseptleri daha hızlı prototipleyebilir.
Ekip ve iş akışı
Operasyonlar, daha önce işlenmesi zor olan görüntü ve video sinyallerini kullanabilir.
Video Yapmanın Geleceği Metinden Videoya
Make-A-Video'nun görüntü öncesi artı etiketsiz hareket tarifi, tüm metinden videoya dalganın tohumunu attı. Onun soyundan gelenler, kontrol edilebilir kamera hareketi ve ses ile daha uzun, daha yüksek çözünürlüklü, geçici olarak sabit klipleri vurguluyor. Mimariler transformatör tabanlı gizli yayılmaya ve düzenleme ve devam için görüntü veya video koşullandırmayı da kabul eden birleşik modellere doğru kayarken bile, devasa görüntü bilgisini yeniden kullanma ve hareketi ucuza öğrenme şeklindeki temel fikrin devam etmesini bekleyin.
Gerçek Dünya Uygulaması
Bir sosyal medya gönderisi için tek bir açıklayıcı cümleyi kısa döngülü bir klip halinde canlandırmak
'Portre çizen oyuncak ayı' gibi statik bir konsepti hareketli bir illüstrasyon olarak hayata geçirmek
Sorunsuz bir geçiş videosu oluşturmak için kullanıcı tarafından sağlanan iki hareketsiz görüntü arasında enterpolasyon yapma
Herhangi bir çekimden önce storyboard oluşturmak için hayal edilen sahnelerin hızlı hareketli taslaklarını oluşturmak
Riskler ve Korkuluklar
Kaynağın belirsiz olması durumunda görüntü hakları ve rıza yasal risk haline gelebilir.
Model performansı aydınlatma, demografik özellikler ve ortamlara göre değişiklik gösterebilir.
Güven eşikleri izlenmediği sürece yanlış pozitifler fark edilmeyebilir.
Uygulama Yol Haritası
Kesinlik, geri çağırma ve hata maliyetlerine ilişkin kabul kriterlerini tanımlayın.
Gerçek üretim koşullarıyla eşleşen verilerle test edin.
Düşük güvenirliğe sahip veya yüksek etkili tahminler için gerçek kişi tarafından yapılan incelemeyi ekleyin.
Model kaymasını izleyin ve kamera veya veri kümesi değişikliklerinden sonra yeniden doğrulayın.
Keşfetmeye Devam Edin
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Make-A-Video Text-to-Video quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Sora ve Metinden Videoya
Sık sorulan sorular
What is Make-A-Video Text-to-Video?
Make-A-Video, Meta'nin, etiketli metin-video çiftleri üzerinde hiçbir eğitim gerektirmeden bir metin istemini kısa bir video klibe dönüştüren 2022 sistemidir. Bu önemli çünkü metinden resme modellerindeki görsel bilgiye yalnızca etiketsiz video kullanılarak hareket etmenin 'öğretilebileceğini' gösterdi.
Make-A-Video'nun etiketli metin-video çiftlerine ihtiyaç duymamasını sağlayan temel yenilik neydi?
Make-A-Video sorunu ayrıştırıyor: metinden görüntüye modeli, altyazılı görüntülerden nesnelerin neye benzediğini öğrenirken, ayrı zamansal katmanlar, ham, etiketlenmemiş videodan hareketi öğrenir.
Make-A-Video bir görüntü modeline hareket özelliğini nasıl ekler?
İçeriğin zaman içinde nasıl değiştiğini öğrenen yeni zamansal katmanlarla 2 boyutlu uzamsal kıvrımları ve dikkati genişletir.
Çerçeve enterpolasyonu ve süper çözünürlük aşamaları ne işe yarar?
Kaba bir düşük çözünürlüklü, düşük kare hızlı taslaktan sonra, enterpolasyon kareler ekler ve süper çözünürlüklü modüller çözünürlüğü artırır.
Make-A-Video çıktısının tipik sınırlaması neydi?
Klipler yalnızca birkaç saniyeydi, nispeten düşük çözünürlükteydi ve zamansal titremeye ve bozulmaya eğilimliydi.