Техническое РУКОВОДСТВО

Оценка CLIP и показатели человеческих предпочтений

Оценка CLIP показывает, насколько хорошо сгенерированное изображение соответствует текстовой подсказке.

Прослушайте это руководствоОзвучено ИИ · ~3 min

На этой странице4 минуты чтения
  1. Обзор
  2. Глубокое погружение
  3. Реальная реализация
  4. Будущее показателей CLIP и показателей человеческих предпочтений
  5. Применение на практике
  6. Продолжайте исследовать
  7. Часто задаваемые вопросы

Обзор

Он встраивает изображение и приглашение в модель CLIP OpenAI и сравнивает два встраивания. Метрики человеческих предпочтений, такие как ImageReward, HPS и PickScore, представляют собой модели, обученные предсказывать, какое из нескольких изображений люди выберут. Эти оценки имеют значение, потому что сам по себе FID ничего не говорит о том, следует ли изображение его подсказке или привлекает ли оно людей, и теперь они являются стандартными в документах по преобразованию текста в изображение, таблицах лидеров и конвейерах тонкой настройки.

Глубокое погружение

В течение многих лет в заголовках статей по созданию изображений было FID (начальное расстояние Фреше). FID сравнивает статистику объектов сети Inception на сгенерированных изображениях с реальными фотографиями. Он отражает реализм и разнообразие на уровне всего набора данных, но никогда не смотрит на подсказку и не может сказать вам, хорошее ли отдельное изображение. Оценка CLIP заполняет пробел. OpenAI выпустил CLIP в 2021 году, обученный на парах изображение-подпись, чтобы совпадающие изображения и текст располагались близко друг к другу в общем пространстве встраивания. Чтобы оценить генерацию, вы встраиваете изображение и его подсказку и берете косинусное сходство между ними. Результат обычно умножается на 100 или масштабируется, как в статье CLIPScore Хесселя и его коллег. При усреднении по набору подсказок более высокий балл означает лучшее выравнивание текста. Показатели человеческих предпочтений идут еще дальше, изучая выбор людей. ImageReward (2023) обучил модель вознаграждения экспертному рейтингу сгенерированных изображений. Оценка человеческих предпочтений (HPS, позже HPS v2) оптимизировала CLIP для больших коллекций человеческих выборов между изображениями, сделанными с помощью одной и той же подсказки. PickScore был обучен на Pick-a-Pic — наборе данных, собранном от пользователей веб-приложения, которые выбрали понравившееся из двух сгенерированных изображений. Эти модели сочетают в себе эстетику, последовательность и привлекательность, а также согласованность. У каждой метрики есть «слепые зоны». CLIP отчасти ведет себя как мешок слов: он часто упускает из виду количество, пространственные отношения, отрицание и то, какой цвет какому объекту принадлежит. Модели предпочтений наследуют вкусы своих комментаторов и могут отдавать предпочтение изысканному, насыщенному виду. Все эти результаты можно обыграть. Если вы оптимизируете модель непосредственно в зависимости от оценки, она может научиться доставлять удовольствие оценщику, а не людям. Распространенным заблуждением является то, что более высокий балл CLIP всегда означает лучшее изображение. Небольшие различия часто находятся в пределах шума, и тщательные оценки сочетают автоматические оценки с контрольными показателями состава и исследованиями на людях.

Реальная реализация

Исследовательская группа, сравнивающая две контрольные точки модели преобразования текста в изображение, генерирует изображения для одного и того же фиксированного набора подсказок и сообщает средний балл CLIP вместе с FID. Это показывает, что быстрое соблюдение правил улучшилось без ущерба для реализма.

Приложение для создания изображений создает четырех кандидатов по каждому запросу, ранжирует их по PickScore и показывает изображение с самым высоким рейтингом первым.

Проект тонкой настройки использует ImageReward в качестве сигнала вознаграждения, чтобы подтолкнуть модель Stable Diffusion к желаемым результатам. Затем команда вручную проверяет образцы, чтобы выявить хакерские атаки, например, перенасыщенные цвета.

Оценщик видит, что модель имеет хорошие оценки по шкале CLIP за «красный куб на вершине синей сферы», даже несмотря на то, что цвета поменялись местами. Они добавляют композиционный тест на основе детектора, такой как GenEval, чтобы выявить эти ошибки привязки атрибутов.

Будущее показателей CLIP и показателей человеческих предпочтений

Оценка движется к методам, которые проверяют конкретные утверждения на изображении, а не полагаются на один глобальный показатель сходства. Подходы с ответами на вопросы, такие как TIFA, и тесты на основе детекторов, такие как GenEval, спрашивают, действительно ли отображается каждый объект, счетчик и атрибут в подсказке. Мультимодальные языковые модели также все чаще используются в качестве судей. Эти инструменты имеют свои собственные ошибки и предвзятости, поэтому они скорее дополняют оценки внедрения, чем заменяют их. Исследования на человеке и общественная сфера остаются ориентиром. Исследователи до сих пор спорят о том, как собирать данные о предпочтениях, отражающие широкий круг пользователей, а не узкую группу аннотаторов.

Применение на практике

Почему это важно

  • Стоимость и бюджет. Архитектурные решения влияют на производительность и эксплуатационные расходы на протяжении многих лет.
  • Более четкие решения. Техническое образование помогает командам выбрать правильный стек, а не только самый новый.
  • Контроль качества. Лучший инженерный выбор снижает вероятность возникновения проблем с надежностью на производстве.

Следите за

  • Оптимизация одного теста может скрыть более широкие недостатки системы.
  • Затраты на инфраструктуру и техническое обслуживание часто недооцениваются.
  • Пробелы в безопасности и наблюдаемости могут увеличиваться по мере усложнения систем.

Следующие шаги

  1. Определите целевые показатели задержки, качества и стоимости перед внедрением.
  2. Тестирование при реалистичной нагрузке и условиях данных.
  3. Мониторинг прибора на наличие ошибок, дрейфа и влияния пользователя.
  4. Перед масштабированием подготовьте пути отката и реагирования на инциденты.

Продолжайте исследовать

Бесплатная рассылка

Получайте ежедневный AI-обзор

Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.

Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.

Проверьте себя

Take the CLIP Score and Human Preference Metrics quiz

Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.

Начать тест

Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование

Часто задаваемые вопросы

Что такое CLIP Score и показатели человеческих предпочтений?

Оценка CLIP показывает, насколько хорошо сгенерированное изображение соответствует текстовой подсказке. Он встраивает изображение и приглашение в модель CLIP OpenAI и сравнивает два встраивания. Метрики человеческих предпочтений, такие как ImageReward, HPS и PickScore, представляют собой модели, обученные предсказывать, какое из нескольких изображений люди выберут. Эти оценки имеют значение, потому что сам по себе FID ничего не говорит о том, следует ли изображение его подсказке или привлекает ли оно людей, и теперь они являются стандартными в документах по преобразованию текста в изображение, таблицах лидеров и конвейерах тонкой настройки.

Почему одного FID недостаточно для оценки моделей преобразования текста в изображение?

FID сравнивает статистику объектов сгенерированных и реальных изображений в наборе данных. Он отражает реализм и разнообразие, но полностью игнорирует подсказку, и именно для заполнения этого пробела была создана оценка CLIP.

Как рассчитывается базовый балл CLIP?

CLIP размещает изображения и текст в общем пространстве встраивания. Оценка представляет собой косинусное сходство между встраиванием изображения и встраиванием подсказки, часто масштабируемое на 100.

На каком наборе данных обучался PickScore?

PickScore был обучен на Pick-a-Pic, где пользователи веб-приложения выбирали понравившееся из двух сгенерированных изображений для одной и той же подсказки.

Какой недостаток типичен для скоринга на основе CLIP?

CLIP отчасти ведет себя как мешок слов. Он замечает, какие понятия присутствуют, но часто упускает из виду, как они связаны, например, количество, положение или привязку цвета.

Почему нельзя напрямую сравнить показатели CLIP из разных магистральных сетей?

Каждый кодировщик изучает свое собственное пространство внедрения, поэтому одно и то же изображение и приглашение получают разные оценки от разных кодировщиков. В документах должно быть указано, какой кодер они использовали.

Продолжайте учиться

Связанные руководства

Другие руководства, выбранные по этой теме

Получите бесплатный AI-сертификатКороткий бесплатный курс и экзамен. Без стоимости, без карты. Около 2,5 часов.Начать бесплатно →