Пользовательский мультиконцептуальный тюнинг Diffusion
Custom Diffusion — это легкий метод тонкой настройки, который обучает модель преобразования текста в изображение новым личным понятиям, таким как ваша собака или конкретный стул, всего лишь с помощью нескольких фотографий.
Обзор
Its standout feature is composing several newly learned concepts together in one generated scene.
Глубокое погружение
Выпущенный исследователями Adobe и CMU в 2022 году, Custom Diffusion персонализирует такие модели, как Stable Diffusion, без переобучения всей сети. Вместо обновления каждого веса было обнаружено, что обновления только небольшого фрагмента — матриц проекции ключей и значений в слоях перекрестного внимания — достаточно, чтобы усвоить новую концепцию примерно из 4–20 изображений. Это обеспечивает быструю настройку (минуты) и небольшой объем памяти (мегабайты, а не гигабайты). Важно отметить, что он может изучать несколько концепций одновременно посредством совместного обучения или путем объединения отдельно обученных концепций с использованием ограниченной оптимизации. Это позволяет вам подсказать, скажем, вашу конкретную кошку, сидящую на вашем конкретном дизайнерском стуле, а методы с одной концепцией с трудом могут совместить.
Техническая информация
Перекрестное внимание — это когда текстовая подсказка влияет на изображение; текстовые токены формируют запросы, которые обращаются к визуальным функциям модели распространения через матрицы ключей и значений. Custom Diffusion замораживает большую часть U-Net и настраивает только те проекции K и V, части, наиболее ответственные за привязку слов к внешнему виду. Он также использует набор регуляризации реальных изображений, разделяющих категорию понятия, чтобы предотвратить переобучение модели и забывание более широкого значения слова.
Стратегическое воздействие
Скорость и масштаб
Визуальный ИИ может автоматизировать задачи проверки, обнаружения и маркировки в любом масштабе.
Выбор сборки
Творческие группы могут быстрее создавать прототипы концепций с меньшим количеством доработок вручную.
Команда и рабочий процесс
Операции могут использовать изображения и видеосигналы, которые раньше было трудно обрабатывать.
Будущее мультиконцептуального тюнинга Custom Diffusion
Многоконцептуальная персонализация объединяется с экосистемами адаптеров, такими как LoRA, где множество небольших концептуальных модулей можно смешивать во время вывода. Будущие системы нацелены на то, чтобы аккуратно составлять десятки пользовательских концепций без утечки атрибутов (цвет кошки, протекающий на стул), и выполнять настройку за секунды или даже только с помощью кодировщика, без какой-либо оптимизации. Ожидайте, что это послужит основой для создания согласованных с брендом ресурсов, личных аватаров и настройки на устройствах.
Реальная реализация
Обучение модели вашего конкретного питомца по нескольким фотографиям, а затем создание для нее новых поз, костюмов и настроек.
Изучение продукта бренда (кроссовок или бутылки) и талисмана бренда, а затем составление обоих в одном маркетинговом изображении.
Захват личного арт-объекта и образа члена семьи и объединение их в придуманных сценах.
Сочетание изготовленного на заказ предмета мебели с индивидуальным стилем комнаты для создания макета концепции дизайна интерьера.
Риски и ограничения
Права на изображение и согласие могут стать юридическими рисками, если происхождение неясно.
Производительность модели может варьироваться в зависимости от освещения, демографии и окружающей среды.
Ложноположительные результаты могут остаться незамеченными, если не контролировать пороговые значения достоверности.
Дорожная карта реализации
Определите критерии приемки точности, стоимости отзыва и ошибок.
Тестируйте с данными, которые соответствуют реальным производственным условиям.
Добавьте человеческую проверку для прогнозов с низкой достоверностью или высокой эффективностью.
Отслеживайте дрейф модели и выполняйте ее повторную проверку после изменений камеры или набора данных.
Продолжайте исследовать
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Custom Diffusion Multi-Concept Tuning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Следующее руководство
Политика распространения управления роботами
Часто задаваемые вопросы
What is Custom Diffusion Multi-Concept Tuning?
Custom Diffusion — это легкий метод тонкой настройки, который обучает модель преобразования текста в изображение новым личным понятиям, таким как ваша собака или конкретный стул, всего лишь с помощью нескольких фотографий. Его выдающейся особенностью является объединение нескольких недавно изученных концепций в одну сгенерированную сцену.
Какую часть модели распространения в первую очередь настраивает Custom Diffusion?
Он обновляет только матрицы перекрестного внимания K и V, которые связывают слова с внешним видом, обеспечивая быструю настройку и небольшой размер сохраняемого файла.
Чем Custom Diffusion наиболее примечательна по сравнению с методами, основанными на одной концепции?
Его отличительной особенностью является создание нескольких концепций, объединяющих несколько персонализированных предметов вместе.
Сколько примерно изображений-примеров нужно Custom Diffusion, чтобы изучить концепцию?
Он учится на небольшом количестве изображений, что делает персонализацию практичной для обычных пользователей.
Почему Custom Diffusion использует набор изображений регуляризации из более широкой категории концепции?
Изображения регуляризации сохраняют общее значение слова категории нетронутым, поэтому модель не схлопывается только до новой концепции.
Как можно использовать вместе две отдельно обученные концепции Custom Diffusion?
Независимо изученные концепции можно объединить посредством ограниченной оптимизации в закрытой форме, что позволяет использовать совместные подсказки.