Виртуальная примерка с диффузионными моделями

Виртуальная примерка состоит из двух взаимосвязанных задач: сохранить неизменным личность человека (лицо, волосы, тон кожи, форму тела, позу) и точно воспроизвести одежду (крой, цвет, принт, логотип, фактуру ткани). Ранние подходы, такие как VITON (2018) и CP-VTON, работали в два этапа. Сначала они деформировали плоское изображение одежды, чтобы оно соответствовало позе человека, часто используя тонкий сплайн или изученное поле потока, затем вторая сеть смешала деформированную одежду с фотографией. Эти методы боролись с большими изменениями позы, окклюзиями, такими как скрещенные руки, и сложными отпечатками, поскольку 2D-деформация не может создать части одежды, которые никогда не были видны. Диффузионные модели изменили второй этап. Вместо смешивания модель восстанавливает область одежды из шума, учитывая изображение одежды, ключевые точки позы человека, карту анализа тела и замаскированную версию исходной фотографии. В программе TryOnDiffusion (2023) Google использовались две параллельные сети, которые обмениваются информацией посредством перекрестного внимания, позволяя одежде неявно деформироваться внутри модели, а не на отдельном этапе; Google использовала это семейство методов для примерки результатов покупок, показанных на реальных моделях разных размеров. Модели открытых исследований, такие как StableVITON, OOTDiffusion и IDM-VTON, адаптировали Stable Diffusion для этой задачи. Распространенное заблуждение состоит в том, что примерка определяет ваш размер. Это не так. Модель не имеет размеров растяжки одежды или вашего тела; это создает правдоподобное представление о том, как одежда этого стиля имеет тенденцию драпироваться. К режимам неудач относятся верх, который одинаково сидит на каждом теле, потерянный или смазанный текст и логотипы, измененный тон кожи или форма тела, изобретенные руки и руки, а также более слабые результаты для типов телосложения, оттенков кожи, стилей одежды или поз, которые редко встречаются в тренировочных данных.