Текстовая инверсия
Текстовая инверсия обучает генератор изображений совершенно новой концепции — например, конкретной кошке, художественному стилю или продукту — путем изучения одного нового слова для него, не меняя саму модель.
Обзор
It lets you put your own subject into AI art using just 3-5 example photos.
Глубокое погружение
Текстовая инверсия, представленная исследователями в 2022 году, решает проблему персонализации: как сказать такой модели, как Stable Diffusion, нарисовать *вашу* собаку, если одна «собака» ее не поймает? Вместо того, чтобы переобучать гигантскую нейронную сеть, она замораживает всю модель и изучает одну вещь: встраивание нового «псевдослова» — одного вектора в словаре кодировщика текста, часто записываемого как S*. Вы передаете ему 3-5 изображений концепции, и оптимизация подталкивает этот вектор до тех пор, пока модель не будет надежно воспроизводить объект, когда вы вводите новое слово. Поскольку изучается только вектор (несколько килобайт), результаты крошечные и ими можно поделиться. Затем вы можете написать подсказки вроде «S* катается на скейтборде, рисует маслом», и концепция появляется в новом контексте.
Техническая информация
Хитрость в том, что модели преобразования текста в изображение перед генерацией преобразуют каждое слово в вектор внедрения. Текстовая инверсия добавляет новый вектор в эту таблицу внедрения и оптимизирует только его, используя те же потери на диффузионное шумоподавление в ваших примерах изображений. Градиенты возвращаются во вложение, в то время как все веса модели остаются замороженными. В результате получается компактный вектор (несколько КБ), который находится в существующем словарном пространстве модели — веса не меняются, поэтому базовая модель сохраняет все свои предварительные знания.
Стратегическое воздействие
Скорость и масштаб
Визуальный ИИ может автоматизировать задачи проверки, обнаружения и маркировки в любом масштабе.
Выбор сборки
Творческие группы могут быстрее создавать прототипы концепций с меньшим количеством доработок вручную.
Команда и рабочий процесс
Операции могут использовать изображения и видеосигналы, которые раньше было трудно обрабатывать.
Будущее текстовой инверсии
Textual Inversion остается популярной благодаря небольшому размеру файла и возможности совместного использования, а сообщество разработчиков открытого исходного кода продает тысячи таких вложений. Будущие направления сочетают его с другими методами — объединением нескольких заученных слов для более насыщенных сцен, объединением с LoRA или DreamBooth для более четкой точности и распространением этой идеи на генераторы видео и 3D. Ожидайте «библиотеки концепций», в которых пользователи смешивают и сопоставляют изученные токены, а также более быструю и почти мгновенную инверсию, поэтому персонализация происходит за секунды, а не за минуты.
Реальная реализация
Художник изучает символ своего фирменного стиля иллюстрации, а затем использует его в десятках новых сцен для создания последовательного портфолио.
Владелец домашнего животного загружает пять фотографий своей собаки, чтобы представить ее в виде космонавта, картины эпохи Возрождения или мультфильма.
Небольшой бренд электронной коммерции выучил слово, обозначающее свой продукт, чтобы можно было представить его во многих маркетинговых сферах без фотосессии.
Игровая студия фиксирует внешний вид повторяющегося персонажа в качестве жетона многократного использования, чтобы концепт-арт был единообразным для всей команды.
Риски и ограничения
Права на изображение и согласие могут стать юридическими рисками, если происхождение неясно.
Производительность модели может варьироваться в зависимости от освещения, демографии и окружающей среды.
Ложноположительные результаты могут остаться незамеченными, если не контролировать пороговые значения достоверности.
Дорожная карта реализации
Определите критерии приемки точности, стоимости отзыва и ошибок.
Тестируйте с данными, которые соответствуют реальным производственным условиям.
Добавьте человеческую проверку для прогнозов с низкой достоверностью или высокой эффективностью.
Отслеживайте дрейф модели и выполняйте ее повторную проверку после изменений камеры или набора данных.
Продолжайте исследовать
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Textual Inversion quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Следующее руководство
Инверсия нулевого текста
Часто задаваемые вопросы
What is Textual Inversion?
Текстовая инверсия обучает генератор изображений совершенно новой концепции — например, конкретной кошке, художественному стилю или продукту — путем изучения одного нового слова для него, не меняя саму модель. Он позволяет вам добавить свой собственный объект в искусство искусственного интеллекта, используя всего 3–5 примеров фотографий.
Что именно изучает Textual Inversion во время обучения?
Он оптимизирует только один новый вектор внедрения псевдослов, сохраняя при этом всю модель замороженной.
Сколько примерно изображений-примеров обычно требуется для текстовой инверсии?
Небольшого количества изображений, обычно 3–5, достаточно, чтобы изучить пригодный для использования токен.
Почему файлы текстовой инверсии такие маленькие (часто несколько килобайт)?
Сохраняется только один вектор внедрения, поэтому файл имеет небольшой размер и им легко поделиться.
Что остается неизменным во время обучения текстовой инверсии?
Базовая модель заморожена; обновляется только новое внедрение, поэтому предварительные знания сохраняются.
Как вы используете изученную концепцию после текстовой инверсии?
Вы просто включаете новый токен (например, S*) в обычное текстовое приглашение, чтобы вызвать концепцию.