СледваСледващо ръководство
Sora и Text-to-Video
Визуален AI
РЪКОВОДСТВО за визуален AI
Направете видео текст към видео
Make-A-Video е системата от 2022 г. на Meta, която превръща текстова подкана в кратък видеоклип, без изобщо да се обучава върху обозначени двойки текст-видео.
Чуйте това ръководствоAI-разказан · ~2 min
На тази страница2 минути четене
Преглед
Това е важно, защото показа, че визуалните знания в моделите текст към изображение могат да бъдат "научени" да се движат само с неетикетирано видео.
Дълбоко гмуркане
Make-A-Video, announced by Meta AI in September 2022, generates brief video clips from text prompts. Its key trick is decoupling appearance from motion: a text-to-image model learns what things look like from paired text-image data, while separate spatiotemporal layers learn how they move from video footage with no associated text. Meta said this reduced the need for paired text-video examples and that the research used publicly available datasets. Meta also described making videos from images and creating new videos similar to existing videos. The base model produces low-resolution, low-frame-rate clips, then dedicated networks interpolate extra frames and upscale spatial resolution. The result was strikingly coherent for its era, though clips were short, blurry, and prone to flicker and warping.
Внедряване в реалния свят
Анимиране на едно описателно изречение в кратък повтарящ се клип за публикация в социални медии
Оживяване на статична концепция като „плюшено мече, което рисува портрет“ като движеща се илюстрация
Интерполиране между две предоставени от потребителя неподвижни изображения за създаване на видео с плавен преход
Генериране на бързи чернови на въображаеми сцени за разкадровка преди всяко заснемане
Бъдещето на Make-A-Video Text-to-Video
Рецептата на Make-A-Video за предишно изображение плюс немаркирано движение постави началото на цялата вълна от текст към видео. Неговите потомци наблягат на по-дълги, с по-висока разделителна способност, стабилни във времето клипове с контролирано движение на камерата и звук. Очаквайте основната идея, повторно използване на масивни знания за изображения и евтино обучение на движение, да продължи дори когато архитектурите се изместват към базирана на трансформатор латентна дифузия и унифицирани модели, които също приемат кондициониране на изображение или видео за редактиране и продължение.
Прилагайки го на практика
Защо има значение
- Скорост и мащаб. Visual AI може да автоматизира задачи за проверка, откриване и маркиране в мащаб.
- Избор на билдове. Творческите екипи могат да създават прототипи на концепции по-бързо с по-малко ръчни ревизии.
- Екип и работен процес. Операциите могат да използват изображения и видео сигнали, които преди са били трудни за обработка.
Внимавайте за
- Правата върху изображението и съгласието могат да се превърнат в правни рискове, ако произходът е неясен.
- Производителността на модела може да варира в зависимост от осветлението, демографските данни и средата.
- Фалшивите положителни резултати могат да останат незабелязани, освен ако не се наблюдават праговете на достоверност.
Следващи стъпки
- Определете критерии за приемане за прецизност, извикване и разходи за грешки.
- Тествайте с данни, които съответстват на реалните производствени условия.
- Добавете преглед от човек за прогнози с ниска степен на сигурност или с голямо въздействие.
- Проследявайте дрейфа на модела и проверявайте отново след промени в камерата или набора от данни.
Продължете да изследвате
Безплатен бюлетин
Получавайте дневния AI бюлетин
Три проверени AI истории всяка делнична сутрин, написани на достъпен език. Безплатно завинаги, без реклами.
Един имейл всеки делничен ден. Отписване с едно кликване. Никога не продаваме и не споделяме вашия имейл адрес.
Тествайте себе си
Take the Make-A-Video Text-to-Video quiz
Незабавна обратна връзка за всеки отговор и сертификат за споделяне с подлежащ на проверка идентификационен номер, след като преминете курс.
Подкрепете безплатното AI образование. AI Understanding е 501(c)(3) с нестопанска цел — без реклами, без платен достъп, никога. Направете дарение
Често задавани въпроси
Какво е Make-A-Video Text-to-Video?
Make-A-Video е системата от 2022 г. на Meta, която превръща текстова подкана в кратък видеоклип, без изобщо да се обучава върху обозначени двойки текст-видео. Има значение, защото показа, че визуалното познание в моделите текст-към-изображение може да бъде „научено“ да се движи, като се използва само немаркирано видео.
Кое беше основното нововъведение, което позволи на Make-A-Video да избегне нуждата от етикетирани двойки текст-видео?
Make-A-Video отделя проблема: модел от текст към изображение научава как изглеждат нещата от изображения с надписи, докато отделни времеви слоеве научават движение от необработено, неозначено видео.
Как Make-A-Video добавя възможност за движение към модел на изображение?
Той разширява 2D пространствените извивки и вниманието с нови времеви слоеве, които научават как съдържанието се променя с времето.
Какво правят етапите на интерполация на кадри и супер разделителна способност?
След груба чернова с ниска разделителна способност и ниска честота на кадрите, интерполацията добавя кадри, а модулите със супер разделителна способност повишават разделителната способност.
Какво беше типичното ограничение на продукцията на Make-A-Video?
Клиповете бяха само няколко секунди, относително ниска разделителна способност и склонни към временно трептене и изкривяване.
Besides text prompts, what visual input can Make-A-Video use to create a video?
Meta said Make-A-Video can create videos from images as well as text prompts.
Продължавай да учиш
Свързани ръководства
Още ръководства, избрани за тази тема