SıradakiSonraki rehber
Sora ve Metinden Videoya
Görsel Yapay Zeka
Görsel Yapay Zeka KILAVUZU
Video Yap Metinden Videoya
Make-A-Video, Meta'nin, etiketli metin-video çiftleri üzerinde hiçbir eğitim gerektirmeden bir metin istemini kısa bir video klibe dönüştüren 2022 sistemidir.
Bu kılavuzu dinleyinAI tarafından anlatılan · ~2 min
Bu sayfada2 dakika okuma
Genel Bakış
It matters because it showed that the visual knowledge inside text-to-image models could be 'taught' to move using only unlabeled video.
Derin Dalış
Make-A-Video, announced by Meta AI in September 2022, generates brief video clips from text prompts. Its key trick is decoupling appearance from motion: a text-to-image model learns what things look like from paired text-image data, while separate spatiotemporal layers learn how they move from video footage with no associated text. Meta said this reduced the need for paired text-video examples and that the research used publicly available datasets. Meta also described making videos from images and creating new videos similar to existing videos. The base model produces low-resolution, low-frame-rate clips, then dedicated networks interpolate extra frames and upscale spatial resolution. The result was strikingly coherent for its era, though clips were short, blurry, and prone to flicker and warping.
Gerçek Dünya Uygulaması
Bir sosyal medya gönderisi için tek bir açıklayıcı cümleyi kısa döngülü bir klip halinde canlandırmak
'Portre çizen oyuncak ayı' gibi statik bir konsepti hareketli bir illüstrasyon olarak hayata geçirmek
Sorunsuz bir geçiş videosu oluşturmak için kullanıcı tarafından sağlanan iki hareketsiz görüntü arasında enterpolasyon yapma
Herhangi bir çekimden önce storyboard oluşturmak için hayal edilen sahnelerin hızlı hareketli taslaklarını oluşturmak
Video Yapmanın Geleceği Metinden Videoya
Make-A-Video'nun görüntü öncesi artı etiketsiz hareket tarifi, tüm metinden videoya dalganın tohumunu attı. Onun soyundan gelenler, kontrol edilebilir kamera hareketi ve ses ile daha uzun, daha yüksek çözünürlüklü, geçici olarak sabit klipleri vurguluyor. Mimariler transformatör tabanlı gizli yayılmaya ve düzenleme ve devam için görüntü veya video koşullandırmayı da kabul eden birleşik modellere doğru kayarken bile, devasa görüntü bilgisini yeniden kullanma ve hareketi ucuza öğrenme şeklindeki temel fikrin devam etmesini bekleyin.
Uygulamaya koymak
Neden önemli?
- Hız ve ölçek. Visual AI, inceleme, algılama ve etiketleme görevlerini geniş ölçekte otomatikleştirebilir.
- Yapı seçimleri. Yaratıcı ekipler, daha az manuel revizyonla konseptleri daha hızlı prototipleyebilir.
- Ekip ve iş akışı. Operasyonlar, daha önce işlenmesi zor olan görüntü ve video sinyallerini kullanabilir.
Dikkat edin
- Kaynağın belirsiz olması durumunda görüntü hakları ve rıza yasal risk haline gelebilir.
- Model performansı aydınlatma, demografik özellikler ve ortamlara göre değişiklik gösterebilir.
- Güven eşikleri izlenmediği sürece yanlış pozitifler fark edilmeyebilir.
Sonraki adımlar
- Kesinlik, geri çağırma ve hata maliyetlerine ilişkin kabul kriterlerini tanımlayın.
- Gerçek üretim koşullarıyla eşleşen verilerle test edin.
- Düşük güvenirliğe sahip veya yüksek etkili tahminler için gerçek kişi tarafından yapılan incelemeyi ekleyin.
- Model kaymasını izleyin ve kamera veya veri kümesi değişikliklerinden sonra yeniden doğrulayın.
Keşfetmeye Devam Edin
Ücretsiz bülten
Günlük AI brifingini alın
Hafta içi her sabah sade İngilizce yazılmış, doğrulanmış üç yapay zeka hikayesi. Sonsuza kadar ücretsiz, reklam yok.
Hafta içi her gün bir e-posta. Tek tıklamayla aboneliğinizi iptal edin. Adresinizi asla satmayız veya paylaşmayız.
Kendinizi test edin
Take the Make-A-Video Text-to-Video quiz
Her yanıtla ilgili anında geri bildirim ve bir kursu geçtiğinizde doğrulanabilir bir kimliğe sahip paylaşılabilir bir sertifika.
Ücretsiz AI eğitimini destekleyin. AI Understanding, bir 501(c)(3) kâr amacı gütmeyen kuruluştur; hiçbir zaman reklam yoktur, ödeme duvarı yoktur. Bağış yap
Sık sorulan sorular
What is Make-A-Video Text-to-Video?
Make-A-Video, Meta'nin, etiketli metin-video çiftleri üzerinde hiçbir eğitim gerektirmeden bir metin istemini kısa bir video klibe dönüştüren 2022 sistemidir. Bu önemli çünkü metinden resme modellerindeki görsel bilgiye yalnızca etiketsiz video kullanılarak hareket etmenin 'öğretilebileceğini' gösterdi.
Make-A-Video'nun etiketli metin-video çiftlerine ihtiyaç duymamasını sağlayan temel yenilik neydi?
Make-A-Video sorunu ayrıştırıyor: metinden görüntüye modeli, altyazılı görüntülerden nesnelerin neye benzediğini öğrenirken, ayrı zamansal katmanlar, ham, etiketlenmemiş videodan hareketi öğrenir.
Make-A-Video bir görüntü modeline hareket özelliğini nasıl ekler?
İçeriğin zaman içinde nasıl değiştiğini öğrenen yeni zamansal katmanlarla 2 boyutlu uzamsal kıvrımları ve dikkati genişletir.
Çerçeve enterpolasyonu ve süper çözünürlük aşamaları ne işe yarar?
Kaba bir düşük çözünürlüklü, düşük kare hızlı taslaktan sonra, enterpolasyon kareler ekler ve süper çözünürlüklü modüller çözünürlüğü artırır.
Make-A-Video çıktısının tipik sınırlaması neydi?
Klipler yalnızca birkaç saniyeydi, nispeten düşük çözünürlükteydi ve zamansal titremeye ve bozulmaya eğilimliydi.
Metin istemlerinin yanı sıra, Make-A-Video video oluşturmak için hangi görsel girdiyi kullanabilir?
Meta, Make-A-Video'nun metin istemlerinin yanı sıra görsellerden de videolar oluşturabileceğini söyledi.
Öğrenmeye devam et
İlgili kılavuzlar
Bu konu için daha fazla rehber seçildi