Визуальное руководство по искусственному интеллекту

Слайдеры LoRA для редактирования изображений

Слайдеры LoRA, представленные исследователями Северо-Восточного университета и Массачусетского технологического института как концептуальные слайдеры в ноябре 2023 года, представляют собой небольшие адаптеры низкого ранга, которые дают модели диффузного изображения непрерывный набор для одного атрибута, такого как возраст, улыбка или погода.

Прослушайте это руководствоОзвучено ИИ · ~8 min

На этой странице9 минут чтения
  1. Обзор
  2. Ключевые выводы
  3. Глубокое погружение
  4. Обучение и тестирование возрастного слайдера
  5. Реальная реализация
  6. Будущее слайдеров LoRA для редактирования изображений
  7. Применение на практике
  8. Источники и дальнейшее чтение
  9. Продолжайте исследовать
  10. Часто задаваемые вопросы

Обзор

Увеличение или уменьшение силы адаптера усиливает или меняет атрибут, пытаясь оставить остальную часть изображения неизменной, и можно комбинировать десятки ползунков.

Ключевые выводы

  1. Слайдер LoRA — это адаптер низкого ранга, коэффициент масштабирования которого действует как непрерывная шкала для одного атрибута изображения в модели диффузии.
  2. Концептуальные слайдеры, созданные Гандикотой и его коллегами из Northeastern и MIT, были опубликованы в ноябре 2023 года на выставке ECCV 2024.
  3. Текстовые ползунки обучаются на основе пар подсказок, таких как «старый» и «молодой», используя в качестве цели собственные прогнозы шума замороженной модели.
  4. В исследовании пользователей, проведенном в статье, ползунок исправления рук обрезал изображения с искаженными руками с 62% до 22% на Stable Diffusion XL.
  5. Авторы сообщают, что в одном поколении можно объединить более 50 ползунков, хотя некоторая остаточная интерференция между атрибутами остается.

Глубокое погружение

A text-to-image diffusion model such as Stable Diffusion XL makes a picture by starting from random noise and removing it step by step, guided by a text prompt. Prompts are a blunt control. Asking for a slightly older person usually changes the face, the pose and the background along with the age, because small prompt changes can produce a very different image from the same random seed. A LoRA slider is a way to get a smooth, targeted dial instead: a small add-on to the model's weights that pushes one attribute up or down by an amount the user chooses, ideally with everything else held still.

The add-on is a LoRA, short for low-rank adaptation, a technique published by Edward Hu and colleagues in June 2021 for cheaply fine-tuning large language models. Instead of changing a full weight matrix W0, LoRA learns an update written as the product of two thin matrices, B times A, whose inner dimension, the rank, is small, such as 4. The original paper reported that, compared with full fine-tuning of GPT-3 175B, LoRA cuts trainable parameters by about 10,000 times and GPU memory by about 3 times, and adds no inference latency because the update can be merged into the original weights. The update is multiplied by a scale factor when it is applied, and that scale is the slider: 0 leaves the model unchanged, positive values apply the learned edit, and negative values apply it in reverse.

Concept Sliders, the method that made this idea well known, was posted to arXiv in November 2023 by Rohit Gandikota, Joanna Materzynska, Tingrui Zhou, Antonio Torralba and David Bau, of Northeastern University, MIT and an independent researcher, and published at ECCV 2024. Training a text slider needs only prompts: a target concept, such as person, and two opposing attributes, such as old and young. The frozen original model is asked to predict noise for each, and the method builds a training target that is the model's normal prediction for person, shifted toward old and away from young by a guidance strength. The LoRA is trained so that, given only the prompt person, the adapted model produces that shifted prediction. In effect, the slider learns to apply a classifier-free-guidance style push permanently, inside the weights.

Two additions make the edits cleaner. First, a single prompt pair can pick up unwanted attributes, so the method adds preservation concepts: when training an age slider, the authors repeat the objective over prompts naming different races, so the slider learns age without shifting ethnicity. The official code exposes this as an attributes option, for example male and female for an age slider. Second, the low rank itself acts as a constraint. The authors report that fine-tuning without the low-rank restriction reduced both edit precision and image quality, while low-rank training found a minimal subspace for the concept.

Sliders can also be defined from images. Given small sets of before and after pictures, the method trains the slider to reproduce the difference between paired images, which lets an artist define a direction by example, or lets the authors transfer a direction found in StyleGAN, an older face-generation model with well-studied editable directions, into Stable Diffusion. At generation time, the authors follow a technique called SDEdit: the first denoising steps run with the slider switched off, so the overall layout is set by the original model, and the slider is applied for the remaining steps, which keeps the edited image structurally close to the unedited one.

Compared with alternatives, sliders trade setup cost for convenience at use time. Prompt editing needs no training but changes too much. Image-editing methods such as Prompt-to-Prompt change cross-attention for one image and need a separate pass for each new edit; the paper reports that its sliders achieve comparable CLIP-score changes, a measure of how well the image matches the requested edit, with smaller LPIPS distance, a measure of perceptual change, from the original image. Once trained, a slider is a small file that works in a single generation pass, can be scaled continuously and can be combined with others.

The limitations are stated in the paper. Disentanglement is imperfect: the authors observed residual effects on other attributes, and sliders trained on a single prompt pair were sometimes entangled with unintended directions. Each slider is tied to the base model it was trained on, so a Stable Diffusion XL slider does not work on another model family, and the project's own repository describes its FLUX.1 support as experimental, with results that may not match SDXL. The fix-hands slider reduced but did not eliminate hand errors, from 62% to 22% in the study. Like any image-editing tool, sliders for faces and bodies can be used to alter images of real people, so the usual consent questions apply.

In practice, the code, data and trained sliders are public through the project site and GitHub repository, along with notebooks for Stable Diffusion 1.x and XL and an inference demo. Training a text slider requires writing a short configuration of target, positive, negative and neutral prompts with settings such as rank 4 and alpha 1, and a GPU that can run the base model.

04Рабочий пример

Обучение и тестирование возрастного слайдера

  1. Напишите конфигурацию с целевым человеком, позитивным старым, негативным молодым и атрибутами сохранения, такими как мужчина и женщина.

  2. Обучите LoRA 4-го ранга на Stable Diffusion XL с помощью официального скрипта текстового слайдера, оставив базовую модель замороженной.

  3. Создайте изображение бариста с фиксированным случайным начальным числом и масштабом ползунка, равным 0 в качестве базовой линии.

  4. Регенерируйте с тем же начальным значением в масштабах минус 2, минус 1, плюс 1 и плюс 2, оставив ползунок выключенным на первых этапах шумоподавления.

  5. Положите пять изображений рядом и убедитесь, что возраст постоянно меняется, а поза, одежда и фон остаются прежними.

  6. Обратите внимание на любые отклонения в других атрибутах, таких как оттенок кожи или гендерное представление, и добавьте подсказки о сохранении, если они появятся.

Что это показывает

Учащийся получает ряд изображений, показывающих, как один человек плавно стареет от младшего к старшему под единым контролем. Хороший слайдер показывает монотонное изменение возраста с небольшими изменениями в других местах; видимый дрейф в несвязанных между собой функциях — это запутанность, которую призваны уменьшить концепции сохранения бумаги.

Реальная реализация

Текстовые атрибуты: документ «Концептуальные слайдеры» обучает ползунки по возрасту, волосам, погоде, стилям и выражениям на основе пар подсказок, таких как «старый» и «молодой», а перемещение негативного ползунка производит противоположный эффект на одно и то же изображение.

Фиксация рук: в ходе пользовательского исследования изображений Stable Diffusion XL оценщики сочли, что 62% из 150 неотредактированных изображений имеют искаженные руки, по сравнению с 22% из 150 изображений, сделанных с помощью слайдера фиксации рук в газете.

Общий ремонт: среди 300 пар изображений оценщики предпочли, чтобы на выходе слайдера восстановления бумаги было меньше артефактов в 80,39% случаев, что решало такие проблемы, как деформированные объекты.

Изменения, которые трудно описать словами: авторы перенесли указания из пространства стилей StyleGAN, обученные на фотографиях лиц, в слайдеры диффузии и обученные ползунки пар изображений для тонких атрибутов, таких как форма бровей и размер глаз.

Элементы управления штабелированием: в документе сообщается, что можно создать одновременно более 50 уникальных ползунков без ухудшения качества вывода, поэтому пользователь может настроить несколько атрибутов за один проход генерации.

Будущее слайдеров LoRA для редактирования изображений

Concept Slider превратили технику тонкой настройки в идею интерфейса: один адаптер на каждый атрибут, каждый со шкалой. Следующее продолжение проекта, SliderSpace, направлено на автоматическое обнаружение ползунков, извлекая множество направлений управления из одной подсказки без создания пар подсказок вручную, что снижает затраты на разработку каждого ползунка вручную. В официальный репозиторий также добавлена ​​экспериментальная поддержка семейства моделей FLUX.1 и ссылки на интеграции сообщества, такие как ControlNet, демонстрирующие переход к новым базовым моделям. Открытые проблемы в основном касаются надежности. Авторы сообщают об остаточном взаимодействии между атрибутами, и запутанность становится труднее обнаружить, когда ползунки сложены друг на друга; В статье сообщается о том, что 50 и более ползунков составляются без потери качества, но какие комбинации остаются распутанными, до конца не охарактеризовано. Каждый ползунок необходимо переобучать для каждой новой базовой модели, а направления, найденные в одном семействе моделей, могут не существовать в том же виде в другом. Оценка того, изменило ли редактирование только предполагаемый атрибут, по-прежнему зависит от сочетания автоматических оценок, таких как CLIP и LPIPS, а также исследований на людях. Также возникает вопрос, какие атрибуты следует предлагать. Ползунки для возраста, формы тела или особенностей, связанных с этнической принадлежностью, вызывают обеспокоенность по поводу справедливости и согласия при применении к изображениям реальных людей, а использование в статье концепций сохранения для сохранения таких атрибутов стабильными во время других изменений является одним из примеров преднамеренного отношения к ним, а не как к побочным эффектам.

Применение на практике

Почему это важно

  • Скорость и масштаб. Визуальный ИИ может автоматизировать задачи проверки, обнаружения и маркировки в любом масштабе.
  • Выбор сборки. Творческие группы могут быстрее создавать прототипы концепций с меньшим количеством доработок вручную.
  • Команда и рабочий процесс. Операции могут использовать изображения и видеосигналы, которые раньше было трудно обрабатывать.

Следите за

  • Права на изображение и согласие могут стать юридическими рисками, если происхождение неясно.
  • Производительность модели может варьироваться в зависимости от освещения, демографии и окружающей среды.
  • Ложноположительные результаты могут остаться незамеченными, если не контролировать пороговые значения достоверности.

Следующие шаги

  1. Определите критерии приемки точности, стоимости отзыва и ошибок.
  2. Тестируйте с данными, которые соответствуют реальным производственным условиям.
  3. Добавьте человеческую проверку для прогнозов с низкой достоверностью или высокой эффективностью.
  4. Отслеживайте дрейф модели и выполняйте ее повторную проверку после изменений камеры или набора данных.

Источники и дальнейшее чтение

  1. arXiv (ECCV 2024)Концептуальные слайдеры: адаптеры LoRA для точного управления в диффузионных моделях
  2. Northeastern University Bau LabСтраница проекта концептуальных слайдеров
  3. GitHubОфициальный репозиторий Concept Sliders
  4. arXivLoRA: низкоранговая адаптация больших языковых моделей

Продолжайте исследовать

Бесплатная рассылка

Получайте ежедневный AI-обзор

Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.

Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.

Проверьте себя

Пройдите тест «Слайдеры LoRA для редактирования изображений»

Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.

Начать тест

Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование

Часто задаваемые вопросы

Что такое слайдеры LoRA для редактирования изображений?

Слайдеры LoRA, представленные исследователями Северо-Восточного университета и Массачусетского технологического института как концептуальные слайдеры в ноябре 2023 года, представляют собой небольшие адаптеры низкого ранга, которые дают модели диффузного изображения непрерывный набор для одного атрибута, такого как возраст, улыбка или погода. Увеличение или уменьшение силы адаптера усиливает или меняет атрибут, пытаясь оставить остальную часть изображения неизменной, и можно комбинировать десятки ползунков.

Что означает «низкий ранг» в LoRA?

LoRA представляет обновления весов как произведение двух небольших матриц низкого ранга, A и B, что намного дешевле, чем обновление полной матрицы весов.

Почему вы можете складывать несколько слайдеров LoRA одновременно?

Каждый ползунок представляет собой отдельный адаптер низкого ранга, примененный к замороженной базовой модели, и в статье показано объединение нескольких ползунков в оцененных настройках. Поведение стека может зависеть от модели и реализации.

Что обычно дает увеличение значения силы ползунка?

Скаляр ползунка умножает изученное направление понятия, поэтому большие положительные значения выражают атрибут более интенсивно.

Сколько уникальных концептуальных слайдеров составляет бумажный отчет без ухудшения качества вывода?

В документе Concept Sliders сообщается о создании более 50 уникальных слайдеров без ухудшения качества вывода в оцененной настройке. Результат ограничен этой бумагой и настройками модели.

Какую концепцию представили концептуальные слайдеры?

Концептуальные слайдеры обучают направлениям низкого ранга, привязанным к отдельным атрибутам, которые при выводе отображаются как шкала силы.

Продолжайте учиться

Связанные руководства

Другие руководства, выбранные по этой теме

Получите бесплатный AI-сертификатКороткий бесплатный курс и экзамен. Без стоимости, без карты. Около 2,5 часов.Начать бесплатно →