NastępnyNastępny poradnik
Sora i zamiana tekstu na wideo
Wizualna sztuczna inteligencja
PRZEWODNIK Wizualnej AI
Utwórz wideo z tekstu na wideo
Make-A-Video to system Meta na rok 2022, który zamienia monit tekstowy w krótki klip wideo bez konieczności szkolenia w zakresie oznaczonych par tekst-wideo.
Posłuchaj tego przewodnikaOpowiadane przez sztuczną inteligencję · ~2 min
Na tej stronie2 minuty czytania
Przegląd
It matters because it showed that the visual knowledge inside text-to-image models could be 'taught' to move using only unlabeled video.
Głębokie nurkowanie
Make-A-Video, announced by Meta AI in September 2022, generates brief video clips from text prompts. Its key trick is decoupling appearance from motion: a text-to-image model learns what things look like from paired text-image data, while separate spatiotemporal layers learn how they move from video footage with no associated text. Meta said this reduced the need for paired text-video examples and that the research used publicly available datasets. Meta also described making videos from images and creating new videos similar to existing videos. The base model produces low-resolution, low-frame-rate clips, then dedicated networks interpolate extra frames and upscale spatial resolution. The result was strikingly coherent for its era, though clips were short, blurry, and prone to flicker and warping.
Implementacja w świecie rzeczywistym
Animacja pojedynczego zdania opisowego w krótki, zapętlony klip do wpisu w mediach społecznościowych
Ożywienie statycznej koncepcji, takiej jak „miś malujący portret”, w postaci poruszającej ilustracji
Interpolacja pomiędzy dwoma nieruchomymi obrazami dostarczonymi przez użytkownika w celu stworzenia płynnego przejścia wideo
Generowanie szybkich szkiców wyimaginowanych scen do tworzenia scenorysów przed filmowaniem
Przyszłość przetwarzania tekstu na wideo w formacie Make-A-Video
Receptura Make-A-Video oparta na obrazie przed i ruchu bez etykiety zapoczątkowała całą falę konwersji tekstu na wideo. Jego potomkowie kładą nacisk na dłuższe, czasowo stabilne klipy o wyższej rozdzielczości z kontrolowanym ruchem kamery i dźwiękiem. Można się spodziewać, że podstawowa idea, czyli ponowne wykorzystanie ogromnej wiedzy o obrazie i niedrogie uczenie się ruchu, będzie trwała nawet wtedy, gdy architektury będą zmierzać w kierunku utajonego rozpowszechniania opartego na transformatorach i ujednoliconych modeli, które akceptują również warunkowanie obrazu lub wideo do edycji i kontynuacji.
Wdrażanie tego w praktykę
Dlaczego to ma znaczenie
- Szybkość i skala. Wizualna sztuczna inteligencja może automatyzować zadania inspekcji, wykrywania i znakowania na dużą skalę.
- Buduj wybory. Zespoły kreatywne mogą szybciej prototypować koncepcje przy mniejszej liczbie ręcznych poprawek.
- Zespół i przepływ pracy. Operacje mogą wykorzystywać sygnały obrazu i wideo, które wcześniej były trudne do przetworzenia.
Uważaj na
- Prawa do wizerunku i zgoda mogą stanowić ryzyko prawne, jeśli pochodzenie jest niejasne.
- Wydajność modelu może się różnić w zależności od oświetlenia, demografii i środowiska.
- Fałszywie pozytywne wyniki mogą pozostać niezauważone, chyba że monitorowane są progi ufności.
Kolejne kroki
- Zdefiniuj kryteria akceptacji dotyczące kosztów precyzji, wycofania i błędów.
- Przetestuj na danych odpowiadających rzeczywistym warunkom produkcyjnym.
- Dodaj weryfikację manualną, aby prognozy były mało pewne lub miały duży wpływ.
- Śledź dryf modelu i przeprowadzaj ponowną weryfikację po zmianie kamery lub zbioru danych.
Odkrywaj dalej
Darmowy newsletter
Otrzymuj codzienne podsumowanie AI
Trzy zweryfikowane historie AI każdego poranka w dni robocze, napisane prostym angielskim. Bezpłatne na zawsze, bez reklam.
Jedno e‑mail każdego dnia roboczego. Wypisz się jednym kliknięciem. Nigdy nie sprzedajemy ani nie udostępniamy Twojego adresu.
Sprawdź się
Take the Make-A-Video Text-to-Video quiz
Natychmiastowa informacja zwrotna na każde pytanie oraz udostępnialny certyfikat z weryfikowalnym ID po zaliczeniu kursu.
Wspieraj darmową edukację AI. AI Understanding jest organizacją non-profit 501(c)(3) — bez reklam, bez płatnej ściany, zawsze. Przekaż darowiznę
Często zadawane pytania
What is Make-A-Video Text-to-Video?
Make-A-Video to system Meta na rok 2022, który zamienia monit tekstowy w krótki klip wideo bez konieczności szkolenia w zakresie oznaczonych par tekst-wideo. Ma to znaczenie, ponieważ pokazało, że wiedzę wizualną zawartą w modelach zamiany tekstu na obraz można „nauczyć” poruszania się wyłącznie przy użyciu nieoznakowanego materiału wideo.
Jaka była główna innowacja, która pozwoliła Make-A-Video uniknąć konieczności tworzenia par tekst-wideo z etykietami?
Make-A-Video rozwiązuje problem: model zamiany tekstu na obraz uczy się, jak rzeczy wyglądają na podstawie obrazów z napisami, podczas gdy oddzielne warstwy czasowe uczą się ruchu z surowego, nieoznakowanego wideo.
W jaki sposób Make-A-Video dodaje możliwość ruchu do modelu obrazu?
Rozszerza sploty przestrzenne 2D i uwagę dzięki nowym warstwom czasowym, które uczą się, jak treść zmienia się w czasie.
Do czego służą etapy interpolacji klatek i super rozdzielczości?
Po zgrubnym szkicu o niskiej rozdzielczości i niskiej liczbie klatek na sekundę, interpolacja dodaje klatki, a moduły o super rozdzielczości podnoszą rozdzielczość.
Jakie było typowe ograniczenie wyjścia Make-A-Video?
Klipy trwały tylko kilka sekund, miały stosunkowo niską rozdzielczość i były podatne na chwilowe migotanie i zniekształcenia.
Besides text prompts, what visual input can Make-A-Video use to create a video?
Meta said Make-A-Video can create videos from images as well as text prompts.
Ucz się dalej
Powiązane przewodniki
Wybrano więcej przewodników na ten temat