CogVideo і CogVideoX
CogVideo (2022) була першою широкомасштабною відкритою моделлю перетворення тексту у відео, а CogVideoX (2024) є її набагато потужнішим наступником з відкритим вихідним кодом від Tsinghua/Zhipu AI.
Огляд
They matter because they put high-quality video generation into the hands of the open community, not just big corporate labs.
Глибоке занурення
CogVideo, випущений у 2022 році, побудований на трансформаторі тексту в зображення CogView2 і використовував авторегресійний підхід з кількома частотами кадрів для створення коротких кліпів, ставши першою відкрито випущеною великою моделлю перетворення тексту в відео та підтримуючи підказки китайською та англійською мовами. Його наступник 2024 року, CogVideoX, є повністю оновленим: він використовує 3D причинно-наслідковий варіаційний автокодер для стиснення відео як у просторі, так і в часі, а потім Експертний трансформатор із ціллю дифузії, яка спільно обслуговує текстові та відеотокени, об’єднані разом. Моделі CogVideoX (з такими розмірами, як параметри 2B і 5B) генерують кілька секунд узгодженого відео з високим рухом у роздільній здатності, наприклад 720x480, і підтримують перетворення зображення у відео та продовження відео. Важливо те, що ваги та код є загальнодоступними, що підживлює хвилю тонких налаштувань, інструментів і досліджень спільноти.
Технічне розуміння
3D причинно-наслідковий VAE від CogVideoX стискає необроблене відео в компактний прихований об’єм, скорочуючи кількість токенів, щоб трансформатор міг моделювати довгі послідовності за доступною ціною. Експертний трансформатор застосовує норму адаптивного рівня та об’єднує текстові та візуальні маркери, щоб ці два способи безпосередньо взаємодіяли один з одним, покращуючи вирівнювання тексту та відео. Поступове навчання збільшенню роздільної здатності та тривалості, а також ретельне додавання субтитрів до даних забезпечує плавніший, семантично точніший рух.
Стратегічний вплив
Швидкість і масштаб
Візуальний штучний інтелект може автоматизувати масштабні завдання перевірки, виявлення та позначення тегами.
Створіть вибір
Творчі групи можуть створювати прототипи концепцій швидше з меншою кількістю переглядів вручну.
Команда та робочий процес
Операції можуть використовувати зображення та відеосигнали, які раніше було важко обробити.
Майбутнє CogVideo та CogVideoX
Будучи однією з найпотужніших моделей відкритого відео, CogVideoX закріплює швидкозростаючу екосистему тонких налаштувань, адаптерів керування та довготривалих розширень. Очікуйте постійного збільшення довжини кліпу, роздільної здатності, реалістичності руху та керованості, а також більш тісної інтеграції із зображенням у відео та робочими процесами редагування. Його відкриті ваги означають, що некомерційні організації, дослідники та невеликі студії можуть будувати генерацію відео передового класу без власного шлюзу, прискорюючи як творчі, так і безпечні експерименти.
Реалізація в реальному світі
Створення короткого сюжетного кліпу з китайської чи англійської підказки з використанням повністю відкритих ваг
Перетворення одного завантаженого нерухомого зображення на рухоме відео через CogVideoX зображення у відео
Точне налаштування відкритої моделі на власний стиль або персонаж для інді-анімації
Дослідники порівнюють нові методи генерації відео з відтворюваною відкритою базовою лінією
Ризики та огорожі
Права на зображення та згода можуть стати юридичними ризиками, якщо походження невідоме.
Продуктивність моделі може відрізнятися залежно від освітлення, демографічних показників і середовища.
Помилкові спрацьовування можуть залишитися непоміченими, якщо не відстежувати пороги довіри.
Дорожня карта впровадження
Визначте критерії прийнятності для точності, відкликання та вартості помилок.
Тестуйте з даними, які відповідають реальним умовам виробництва.
Додайте перевірку людиною для прогнозів із низьким рівнем достовірності або високого впливу.
Відстежуйте дрейф моделі та повторно перевіряйте після зміни камери або набору даних.
Продовжуйте досліджувати
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the CogVideo and CogVideoX quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Наступний посібник
Редагування інструкцій InstructPix2Pix
Часті запитання
What is CogVideo and CogVideoX?
CogVideo (2022) була першою широкомасштабною відкритою моделлю перетворення тексту у відео, а CogVideoX (2024) є її набагато потужнішим наступником з відкритим вихідним кодом від Tsinghua/Zhipu AI. Вони мають значення, оскільки передають створення високоякісного відео в руки відкритої спільноти, а не лише великих корпоративних лабораторій.
Що примітного у випуску CogVideo 2022?
CogVideo була першою відкритою широкомасштабною моделлю перетворення тексту у відео, яка підтримувала підказки китайською та англійською мовами.
Чого досягає 3D причинний VAE від CogVideoX?
3D-каузальний VAE стискає відео як у просторових, так і в часових вимірах, зменшуючи кількість токенів, щоб трансформатор міг ефективно його моделювати.
Як Expert Transformer у CogVideoX обробляє текст і відео?
Expert Transformer поєднує текстові та візуальні маркери разом із адаптивною нормалізацією, покращуючи узгодження між підказкою та згенерованим відео.
Яка група розробила CogVideo та CogVideoX?
Сімейство CogVideo походить від дослідників, пов’язаних з Університетом Цінхуа та Zhipu AI.
Окрім перетворення тексту у відео, які додаткові можливості підтримує CogVideoX?
CogVideoX може анімувати нерухоме зображення (перетворення зображення на відео) і розширювати наявні кліпи (продовження) за межі простих текстових підказок.