Синхронизация губ с искусственным интеллектом, управляемая звуком

Wav2Lip, опубликованный в 2020 году исследователями из IIIT Hyderabad (ACM Multimedia), является самой известной моделью открытой синхронизации губ и полезным шаблоном для этой области. Для каждого целевого кадра генератор получает три входных данных: лицо с замаскированной нижней половиной, опорный кадр того же человека, который обеспечивает внешний вид, и короткое окно мел-спектрограммы звука в этот момент. Затем сеть кодировщика-декодера рисует область рта, и результат снова смешивается с исходным видео. Ключевым вкладом стал предварительно обученный «экспертный» дискриминатор синхронизации на основе SyncNet. Во время тренировки он остается в замороженном состоянии и определяет, соответствует ли короткий фрагмент кадров звуку. Более ранние подходы обучали дискриминатор синхронизации совместно с генератором, и эти дискриминаторы оказывались плохими оценщиками синхронизации. Wav2Lip также использовал отдельный дискриминатор визуального качества. Его слабыми сторонами были кадры рта с низким разрешением, размытые зубы и видимые швы или мерцание на границе маски. Более поздние системы, такие как VideoReTalking, MuseTalk и LatentSync на основе диффузии, нацелены на получение более четких и стабильных результатов. Качество оценивается по нескольким критериям. LSE-D измеряет расстояние между аудио и видео вставками SyncNet, где чем меньше, тем лучше. LSE-C измеряет доверие SyncNet: чем выше, тем лучше. Показатели качества изображения, такие как FID и человеческие рейтинги, отражают реалистичность. Распространенным заблуждением является то, что хорошая оценка синхронизации означает реалистичное видео. Чрезмерное движение рта может быть оценено хорошо, но при этом выглядеть неправильно, поэтому человеческая оценка остается важной. Одна из проблем заключается в том, что многие фонемы имеют одну и ту же видимую форму рта, или визему, поэтому отображение звука в рот происходит по принципу «многие к одному». Неправильное использование вытекает непосредственно из самой технологии: сочетание клонированного голоса с синхронизацией губ может привести к убедительным фальшивым заявлениям. Исследователи показали, что несоответствия между фонемами и висемами, особенно губы, не смыкающиеся на буквах «м», «б» и «р», могут выявить такие подделки.