ДалееСледующее руководство
Модель диффузии GLIDE
Визуальный ИИ
Визуальное руководство по искусственному интеллекту
Виртуальная примерка с помощью искусственного интеллекта делает фотографию человека и фотографию одежды и создает новое изображение этого человека, носящего эту одежду, сохраняя его позу, тело и лицо, одновременно передавая форму, текстуру и детали одежды.
Прослушайте это руководствоОзвучено ИИ · ~3 min
Современные системы используют диффузионные модели, основанные на позе и контурах тела человека, вместо того, чтобы просто наклеивать одежду сверху. Это важно, потому что меняет то, как люди делают покупки в Интернете, но показывает, как может выглядеть одежда, а не то, подойдет ли она на самом деле.
Виртуальная примерка состоит из двух взаимосвязанных задач: сохранить неизменным личность человека (лицо, волосы, тон кожи, форму тела, позу) и точно воспроизвести одежду (крой, цвет, принт, логотип, фактуру ткани). Ранние подходы, такие как VITON (2018) и CP-VTON, работали в два этапа. Сначала они деформировали плоское изображение одежды, чтобы оно соответствовало позе человека, часто используя тонкий сплайн или изученное поле потока, затем вторая сеть смешала деформированную одежду с фотографией. Эти методы боролись с большими изменениями позы, окклюзиями, такими как скрещенные руки, и сложными отпечатками, поскольку 2D-деформация не может создать части одежды, которые никогда не были видны. Диффузионные модели изменили второй этап. Вместо смешивания модель восстанавливает область одежды из шума, учитывая изображение одежды, ключевые точки позы человека, карту анализа тела и замаскированную версию исходной фотографии. В программе TryOnDiffusion (2023) Google использовались две параллельные сети, которые обмениваются информацией посредством перекрестного внимания, позволяя одежде неявно деформироваться внутри модели, а не на отдельном этапе; Google использовала это семейство методов для примерки результатов покупок, показанных на реальных моделях разных размеров. Модели открытых исследований, такие как StableVITON, OOTDiffusion и IDM-VTON, адаптировали Stable Diffusion для этой задачи. Распространенное заблуждение состоит в том, что примерка определяет ваш размер. Это не так. Модель не имеет размеров растяжки одежды или вашего тела; это создает правдоподобное представление о том, как одежда этого стиля имеет тенденцию драпироваться. К режимам неудач относятся верх, который одинаково сидит на каждом теле, потерянный или смазанный текст и логотипы, измененный тон кожи или форма тела, изобретенные руки и руки, а также более слабые результаты для типов телосложения, оттенков кожи, стилей одежды или поз, которые редко встречаются в тренировочных данных.
Интернет-покупатель выбирает модель, которая примерно соответствует его типу телосложения, и видит блузку, изображенную на этом человеке в нескольких позах, прежде чем решить, стоит ли покупать.
Ритейлер модной одежды фотографирует каждый новый предмет одежды один раз на плоской поверхности и использует функцию примерки, чтобы показать его на нескольких моделях из каталога вместо того, чтобы заказывать новую фотосессию.
Покупатель загружает свою фотографию в полный рост в приложение для примерки и видит на себе куртку, замечая, что длина рукава скорее угадывается, чем измеряется.
Исследовательская группа оценивает примерную модель на тестовом наборе, охватывающем широкий диапазон размеров тела и оттенков кожи, и обнаруживает, что логотипы и полосы больше искажаются на больших телах и в необычных позах.
Исследования движутся к видеопримерке, использованию нескольких предметов одежды и контролю над такими атрибутами посадки, как «оверсайз» или «узкий». Более сложный и нерешенный шаг — связать изображение с физической реальностью: объединить таблицы размеров, свойства ткани и размеры тела, возможно, с 3D-моделями тела и симуляцией ткани, чтобы предварительный просмотр отражал фактическую посадку, а не лестное предположение. Снизит ли примерка прибыль на практике, зависит от этой связи и от того, будут ли розничные торговцы публиковать честные оценки. Ожидайте постоянного внимания к согласию и конфиденциальности фотографий, загружаемых пользователями, а также к работе различных органов.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Виртуальная примерка с помощью искусственного интеллекта делает фотографию человека и фотографию одежды и создает новое изображение этого человека, носящего эту одежду, сохраняя его позу, тело и лицо, одновременно передавая форму, текстуру и детали одежды. Современные системы используют диффузионные модели, основанные на позе и контурах тела человека, вместо того, чтобы просто наклеивать одежду сверху. Это важно, потому что меняет то, как люди делают покупки в Интернете, но показывает, как может выглядеть одежда, а не то, подойдет ли она на самом деле.
Примерка должна сохранить личность, позу и тело человека, одновременно передавая крой, цвет и принт одежды. Улучшение одного часто вредит другому.
Ранние системы использовали двухэтапный подход: геометрическую деформацию (например, тонкие пластинчатые сплайны), за которой следовала сеть смешивания.
Деформация перемещает только существующие пиксели, поэтому она не может создавать скрытые или перекрытые части одежды.
Диффузионная примерка прорисовывает область замаскированной одежды путем шумоподавления, руководствуясь характеристиками одежды, информацией о позе и остальным изображением человека.
TryOnDiffusion использовал две сети, связанные перекрестным вниманием, поэтому одежду можно было неявно деформировать внутри модели.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Модель диффузии GLIDE
Визуальный ИИ