Визуальное руководство по искусственному интеллекту

Почему генераторы изображений AI ошибаются

Генераторы изображений с искусственным интеллектом ошибаются, потому что руки маленькие, очень гибкие, часто частично скрыты и редко описываются в подписях.

Прослушайте это руководствоОзвучено ИИ · ~3 min

На этой странице4 минуты чтения
  1. Обзор
  2. Глубокое погружение
  3. Реальная реализация
  4. Будущее того, почему генераторы изображений AI ошибаются
  5. Применение на практике
  6. Продолжайте исследовать
  7. Часто задаваемые вопросы

Обзор

Модели изучают, как руки выглядят на поверхности, не изучая их строение, например пять пальцев на руке. Ошибки рук стали общеизвестным признаком синтетических изображений, и понимание того, почему они происходят, объясняет, как улучшились новые модели и почему подсчет пальцев больше не является надежным способом обнаружения подделок.

Глубокое погружение

Модели диффузии обучаются на миллиардах пар изображений и подписей, обучаясь обращать вспять добавленный шум. Они очень хорошо различают местные визуальные закономерности: текстуру кожи, освещение, общий вид руки. Чего они никогда не получают, так это явного правила, согласно которому на руке пять пальцев соединены с ладонью в определенном порядке. Несколько факторов делают руки твердыми. Руки занимают небольшую часть большинства фотографий, поэтому пикселей у них мало. Модели скрытой диффузии, такие как Stable Diffusion, также перед генерацией сжимают изображения в восемь раз в каждом измерении, в результате чего на руке может остаться лишь несколько скрытых клеток. Руки принимают огромное количество поз, захватывают предметы, перекрывают друг друга и часто частично скрыты, поэтому данные обучения полны неполных представлений. Пальцы похожи друг на друга, поэтому модель, производящая «палец, палец, палец», не имеет четкого сигнала, говорящего ей, когда остановиться. В подписях почти никогда не упоминаются руки, не говоря уже об их позе, поэтому подсказка мало что дает. В результате получается набор знакомых ошибок: лишние или отсутствующие пальцы, сросшиеся пальцы, большой палец не на той стороне и руки, слипающиеся с предметами или другими людьми. По тем же причинам портятся зубы, уши и украшения. Новые системы уменьшили количество этих сбоев. Более крупные модели, более высокое разрешение обучения, лучше отфильтрованные и снабженные субтитрами данные, архитектура на основе трансформаторов и точная настройка рейтингов предпочтений человека — все это помогло. Версия 5 Midjourney в 2023 году была широко известна лучшими руками, а более поздние модели из нескольких лабораторий еще больше улучшились. Однако ошибки не исчезли, особенно в сложных позах, толпе и руках, держащих вещи. Распространенным заблуждением является то, что модель «не умеет считать». Точнее сказать, что он изучает внешний вид статистически, и правильная структура возникает только тогда, когда данных и возможностей модели достаточно.

Реальная реализация

На раннем портрете Stable Diffusion изображен человек, держащий чашку кофе, обхватив ее шестью пальцами, что является типичной неудачей, когда модель совмещает множество перекрывающихся поз хвата.

В групповой сцене старой модели руки двух людей сливаются в месте их соприкосновения, потому что модель не имеет четкого представления о том, где заканчивается одно тело и начинается другое.

Художник передает в ControlNet OpenPose или карту глубины, созданную на основе фотографии собственной руки, чтобы добиться правильной позы, а затем дорисовывает все оставшиеся ошибки.

Фактчекер отмечает, что у подозреваемого фейка совершенно нормальные руки, что является напоминанием о том, что новые генераторы часто правильно рисуют руки и необходимы другие подсказки.

Будущее того, почему генераторы изображений AI ошибаются

Ошибки рук, скорее всего, будут уменьшаться по мере роста моделей и улучшения обучающих данных, но необычные позы, переплетенные руки и руки, манипулирующие предметами, по-прежнему сложнее, чем простая открытая ладонь. Генерация видео добавляет новую версию проблемы, поскольку пальцы должны оставаться последовательными от кадра к кадру. Для тех, кто судит о подлинности, ручная проверка является слабым сигналом. Деформированная рука по-прежнему предполагает, что изображение было создано, но правильная рука ничего не доказывает. Записи о происхождении и водяные знаки более надежны, чем проверка анатомии.

Применение на практике

Почему это важно

  • Скорость и масштаб. Визуальный ИИ может автоматизировать задачи проверки, обнаружения и маркировки в любом масштабе.
  • Выбор сборки. Творческие группы могут быстрее создавать прототипы концепций с меньшим количеством доработок вручную.
  • Команда и рабочий процесс. Операции могут использовать изображения и видеосигналы, которые раньше было трудно обрабатывать.

Следите за

  • Права на изображение и согласие могут стать юридическими рисками, если происхождение неясно.
  • Производительность модели может варьироваться в зависимости от освещения, демографии и окружающей среды.
  • Ложноположительные результаты могут остаться незамеченными, если не контролировать пороговые значения достоверности.

Следующие шаги

  1. Определите критерии приемки точности, стоимости отзыва и ошибок.
  2. Тестируйте с данными, которые соответствуют реальным производственным условиям.
  3. Добавьте человеческую проверку для прогнозов с низкой достоверностью или высокой эффективностью.
  4. Отслеживайте дрейф модели и выполняйте ее повторную проверку после изменений камеры или набора данных.

Продолжайте исследовать

Бесплатная рассылка

Получайте ежедневный AI-обзор

Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.

Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.

Проверьте себя

Take the Why AI Image Generators Get Hands Wrong quiz

Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.

Начать тест

Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование

Часто задаваемые вопросы

Почему генераторы изображений AI работают неправильно?

Генераторы изображений с искусственным интеллектом ошибаются, потому что руки маленькие, очень гибкие, часто частично скрыты и редко описываются в подписях. Модели изучают, как руки выглядят на поверхности, не изучая их строение, например пять пальцев на руке. Ошибки рук стали общеизвестным признаком синтетических изображений, и понимание того, почему они происходят, объясняет, как улучшились новые модели и почему подсчет пальцев больше не является надежным способом обнаружения подделок.

Согласно руководству, чему модель диффузии в основном учит пары «изображение-подпись»?

Модели узнают, как все выглядит статистически. Ничто в обучении не дает им явного правила, что на руке пять пальцев.

Как скрытое сжатие в Stable Diffusion усложняет рисование рук?

Маленькая рука, которая сжимается в восемь раз в каждом измерении, в итоге имеет очень мало места для отображения пяти отдельных пальцев.

Почему подписи мало помогают моделям с руками?

Без текста, описывающего позы рук, модель не может связать слова-подсказки со структурой рук.

Какая версия Midjourney, как говорится в руководстве, была широко известна лучшими руками в 2023 году?

Версия 5 Midjourney, выпущенная в 2023 году, была широко известна улучшенными руками, что является частью более широкой тенденции масштабирования и улучшения данных.

Что делает рабочий процесс обнаружения и перерисовки в стиле ADtailer?

Увеличение урожая дает руке во время регенерации гораздо больше скрытых клеток, что улучшает ее структуру.

Продолжайте учиться

Связанные руководства

Другие руководства, выбранные по этой теме

Получите бесплатный AI-сертификатКороткий бесплатный курс и экзамен. Без стоимости, без карты. Около 2,5 часов.Начать бесплатно →