ДалееСледующее руководство
Диалоговое редактирование изображений с помощью мультимодальных моделей
Визуальный ИИ
Визуальное руководство по искусственному интеллекту
Слайдеры LoRA, представленные исследователями Северо-Восточного университета и Массачусетского технологического института как концептуальные слайдеры в ноябре 2023 года, представляют собой небольшие адаптеры низкого ранга, которые дают модели диффузного изображения непрерывный набор для одного атрибута, такого как возраст, улыбка или погода.
Прослушайте это руководствоОзвучено ИИ · ~8 min
Увеличение или уменьшение силы адаптера усиливает или меняет атрибут, пытаясь оставить остальную часть изображения неизменной, и можно комбинировать десятки ползунков.
A text-to-image diffusion model such as Stable Diffusion XL makes a picture by starting from random noise and removing it step by step, guided by a text prompt. Prompts are a blunt control. Asking for a slightly older person usually changes the face, the pose and the background along with the age, because small prompt changes can produce a very different image from the same random seed. A LoRA slider is a way to get a smooth, targeted dial instead: a small add-on to the model's weights that pushes one attribute up or down by an amount the user chooses, ideally with everything else held still.
The add-on is a LoRA, short for low-rank adaptation, a technique published by Edward Hu and colleagues in June 2021 for cheaply fine-tuning large language models. Instead of changing a full weight matrix W0, LoRA learns an update written as the product of two thin matrices, B times A, whose inner dimension, the rank, is small, such as 4. The original paper reported that, compared with full fine-tuning of GPT-3 175B, LoRA cuts trainable parameters by about 10,000 times and GPU memory by about 3 times, and adds no inference latency because the update can be merged into the original weights. The update is multiplied by a scale factor when it is applied, and that scale is the slider: 0 leaves the model unchanged, positive values apply the learned edit, and negative values apply it in reverse.
Concept Sliders, the method that made this idea well known, was posted to arXiv in November 2023 by Rohit Gandikota, Joanna Materzynska, Tingrui Zhou, Antonio Torralba and David Bau, of Northeastern University, MIT and an independent researcher, and published at ECCV 2024. Training a text slider needs only prompts: a target concept, such as person, and two opposing attributes, such as old and young. The frozen original model is asked to predict noise for each, and the method builds a training target that is the model's normal prediction for person, shifted toward old and away from young by a guidance strength. The LoRA is trained so that, given only the prompt person, the adapted model produces that shifted prediction. In effect, the slider learns to apply a classifier-free-guidance style push permanently, inside the weights.
Two additions make the edits cleaner. First, a single prompt pair can pick up unwanted attributes, so the method adds preservation concepts: when training an age slider, the authors repeat the objective over prompts naming different races, so the slider learns age without shifting ethnicity. The official code exposes this as an attributes option, for example male and female for an age slider. Second, the low rank itself acts as a constraint. The authors report that fine-tuning without the low-rank restriction reduced both edit precision and image quality, while low-rank training found a minimal subspace for the concept.
Sliders can also be defined from images. Given small sets of before and after pictures, the method trains the slider to reproduce the difference between paired images, which lets an artist define a direction by example, or lets the authors transfer a direction found in StyleGAN, an older face-generation model with well-studied editable directions, into Stable Diffusion. At generation time, the authors follow a technique called SDEdit: the first denoising steps run with the slider switched off, so the overall layout is set by the original model, and the slider is applied for the remaining steps, which keeps the edited image structurally close to the unedited one.
Compared with alternatives, sliders trade setup cost for convenience at use time. Prompt editing needs no training but changes too much. Image-editing methods such as Prompt-to-Prompt change cross-attention for one image and need a separate pass for each new edit; the paper reports that its sliders achieve comparable CLIP-score changes, a measure of how well the image matches the requested edit, with smaller LPIPS distance, a measure of perceptual change, from the original image. Once trained, a slider is a small file that works in a single generation pass, can be scaled continuously and can be combined with others.
The limitations are stated in the paper. Disentanglement is imperfect: the authors observed residual effects on other attributes, and sliders trained on a single prompt pair were sometimes entangled with unintended directions. Each slider is tied to the base model it was trained on, so a Stable Diffusion XL slider does not work on another model family, and the project's own repository describes its FLUX.1 support as experimental, with results that may not match SDXL. The fix-hands slider reduced but did not eliminate hand errors, from 62% to 22% in the study. Like any image-editing tool, sliders for faces and bodies can be used to alter images of real people, so the usual consent questions apply.
In practice, the code, data and trained sliders are public through the project site and GitHub repository, along with notebooks for Stable Diffusion 1.x and XL and an inference demo. Training a text slider requires writing a short configuration of target, positive, negative and neutral prompts with settings such as rank 4 and alpha 1, and a GPU that can run the base model.
04Рабочий пример
Напишите конфигурацию с целевым человеком, позитивным старым, негативным молодым и атрибутами сохранения, такими как мужчина и женщина.
Обучите LoRA 4-го ранга на Stable Diffusion XL с помощью официального скрипта текстового слайдера, оставив базовую модель замороженной.
Создайте изображение бариста с фиксированным случайным начальным числом и масштабом ползунка, равным 0 в качестве базовой линии.
Регенерируйте с тем же начальным значением в масштабах минус 2, минус 1, плюс 1 и плюс 2, оставив ползунок выключенным на первых этапах шумоподавления.
Положите пять изображений рядом и убедитесь, что возраст постоянно меняется, а поза, одежда и фон остаются прежними.
Обратите внимание на любые отклонения в других атрибутах, таких как оттенок кожи или гендерное представление, и добавьте подсказки о сохранении, если они появятся.
Что это показывает
Учащийся получает ряд изображений, показывающих, как один человек плавно стареет от младшего к старшему под единым контролем. Хороший слайдер показывает монотонное изменение возраста с небольшими изменениями в других местах; видимый дрейф в несвязанных между собой функциях — это запутанность, которую призваны уменьшить концепции сохранения бумаги.
Текстовые атрибуты: документ «Концептуальные слайдеры» обучает ползунки по возрасту, волосам, погоде, стилям и выражениям на основе пар подсказок, таких как «старый» и «молодой», а перемещение негативного ползунка производит противоположный эффект на одно и то же изображение.
Фиксация рук: в ходе пользовательского исследования изображений Stable Diffusion XL оценщики сочли, что 62% из 150 неотредактированных изображений имеют искаженные руки, по сравнению с 22% из 150 изображений, сделанных с помощью слайдера фиксации рук в газете.
Общий ремонт: среди 300 пар изображений оценщики предпочли, чтобы на выходе слайдера восстановления бумаги было меньше артефактов в 80,39% случаев, что решало такие проблемы, как деформированные объекты.
Изменения, которые трудно описать словами: авторы перенесли указания из пространства стилей StyleGAN, обученные на фотографиях лиц, в слайдеры диффузии и обученные ползунки пар изображений для тонких атрибутов, таких как форма бровей и размер глаз.
Элементы управления штабелированием: в документе сообщается, что можно создать одновременно более 50 уникальных ползунков без ухудшения качества вывода, поэтому пользователь может настроить несколько атрибутов за один проход генерации.
Concept Slider превратили технику тонкой настройки в идею интерфейса: один адаптер на каждый атрибут, каждый со шкалой. Следующее продолжение проекта, SliderSpace, направлено на автоматическое обнаружение ползунков, извлекая множество направлений управления из одной подсказки без создания пар подсказок вручную, что снижает затраты на разработку каждого ползунка вручную. В официальный репозиторий также добавлена экспериментальная поддержка семейства моделей FLUX.1 и ссылки на интеграции сообщества, такие как ControlNet, демонстрирующие переход к новым базовым моделям. Открытые проблемы в основном касаются надежности. Авторы сообщают об остаточном взаимодействии между атрибутами, и запутанность становится труднее обнаружить, когда ползунки сложены друг на друга; В статье сообщается о том, что 50 и более ползунков составляются без потери качества, но какие комбинации остаются распутанными, до конца не охарактеризовано. Каждый ползунок необходимо переобучать для каждой новой базовой модели, а направления, найденные в одном семействе моделей, могут не существовать в том же виде в другом. Оценка того, изменило ли редактирование только предполагаемый атрибут, по-прежнему зависит от сочетания автоматических оценок, таких как CLIP и LPIPS, а также исследований на людях. Также возникает вопрос, какие атрибуты следует предлагать. Ползунки для возраста, формы тела или особенностей, связанных с этнической принадлежностью, вызывают обеспокоенность по поводу справедливости и согласия при применении к изображениям реальных людей, а использование в статье концепций сохранения для сохранения таких атрибутов стабильными во время других изменений является одним из примеров преднамеренного отношения к ним, а не как к побочным эффектам.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Слайдеры LoRA, представленные исследователями Северо-Восточного университета и Массачусетского технологического института как концептуальные слайдеры в ноябре 2023 года, представляют собой небольшие адаптеры низкого ранга, которые дают модели диффузного изображения непрерывный набор для одного атрибута, такого как возраст, улыбка или погода. Увеличение или уменьшение силы адаптера усиливает или меняет атрибут, пытаясь оставить остальную часть изображения неизменной, и можно комбинировать десятки ползунков.
LoRA представляет обновления весов как произведение двух небольших матриц низкого ранга, A и B, что намного дешевле, чем обновление полной матрицы весов.
Каждый ползунок представляет собой отдельный адаптер низкого ранга, примененный к замороженной базовой модели, и в статье показано объединение нескольких ползунков в оцененных настройках. Поведение стека может зависеть от модели и реализации.
Скаляр ползунка умножает изученное направление понятия, поэтому большие положительные значения выражают атрибут более интенсивно.
В документе Concept Sliders сообщается о создании более 50 уникальных слайдеров без ухудшения качества вывода в оцененной настройке. Результат ограничен этой бумагой и настройками модели.
Концептуальные слайдеры обучают направлениям низкого ранга, привязанным к отдельным атрибутам, которые при выводе отображаются как шкала силы.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Диалоговое редактирование изображений с помощью мультимодальных моделей
Визуальный ИИ