ДалееСледующее руководство
Сбор данных о предпочтениях человека для RLHF
Языковой ИИ
Техническое РУКОВОДСТВО
Оценка CLIP показывает, насколько хорошо сгенерированное изображение соответствует текстовой подсказке.
Прослушайте это руководствоОзвучено ИИ · ~3 min
Он встраивает изображение и приглашение в модель CLIP OpenAI и сравнивает два встраивания. Метрики человеческих предпочтений, такие как ImageReward, HPS и PickScore, представляют собой модели, обученные предсказывать, какое из нескольких изображений люди выберут. Эти оценки имеют значение, потому что сам по себе FID ничего не говорит о том, следует ли изображение его подсказке или привлекает ли оно людей, и теперь они являются стандартными в документах по преобразованию текста в изображение, таблицах лидеров и конвейерах тонкой настройки.
В течение многих лет в заголовках статей по созданию изображений было FID (начальное расстояние Фреше). FID сравнивает статистику объектов сети Inception на сгенерированных изображениях с реальными фотографиями. Он отражает реализм и разнообразие на уровне всего набора данных, но никогда не смотрит на подсказку и не может сказать вам, хорошее ли отдельное изображение. Оценка CLIP заполняет пробел. OpenAI выпустил CLIP в 2021 году, обученный на парах изображение-подпись, чтобы совпадающие изображения и текст располагались близко друг к другу в общем пространстве встраивания. Чтобы оценить генерацию, вы встраиваете изображение и его подсказку и берете косинусное сходство между ними. Результат обычно умножается на 100 или масштабируется, как в статье CLIPScore Хесселя и его коллег. При усреднении по набору подсказок более высокий балл означает лучшее выравнивание текста. Показатели человеческих предпочтений идут еще дальше, изучая выбор людей. ImageReward (2023) обучил модель вознаграждения экспертному рейтингу сгенерированных изображений. Оценка человеческих предпочтений (HPS, позже HPS v2) оптимизировала CLIP для больших коллекций человеческих выборов между изображениями, сделанными с помощью одной и той же подсказки. PickScore был обучен на Pick-a-Pic — наборе данных, собранном от пользователей веб-приложения, которые выбрали понравившееся из двух сгенерированных изображений. Эти модели сочетают в себе эстетику, последовательность и привлекательность, а также согласованность. У каждой метрики есть «слепые зоны». CLIP отчасти ведет себя как мешок слов: он часто упускает из виду количество, пространственные отношения, отрицание и то, какой цвет какому объекту принадлежит. Модели предпочтений наследуют вкусы своих комментаторов и могут отдавать предпочтение изысканному, насыщенному виду. Все эти результаты можно обыграть. Если вы оптимизируете модель непосредственно в зависимости от оценки, она может научиться доставлять удовольствие оценщику, а не людям. Распространенным заблуждением является то, что более высокий балл CLIP всегда означает лучшее изображение. Небольшие различия часто находятся в пределах шума, и тщательные оценки сочетают автоматические оценки с контрольными показателями состава и исследованиями на людях.
Исследовательская группа, сравнивающая две контрольные точки модели преобразования текста в изображение, генерирует изображения для одного и того же фиксированного набора подсказок и сообщает средний балл CLIP вместе с FID. Это показывает, что быстрое соблюдение правил улучшилось без ущерба для реализма.
Приложение для создания изображений создает четырех кандидатов по каждому запросу, ранжирует их по PickScore и показывает изображение с самым высоким рейтингом первым.
Проект тонкой настройки использует ImageReward в качестве сигнала вознаграждения, чтобы подтолкнуть модель Stable Diffusion к желаемым результатам. Затем команда вручную проверяет образцы, чтобы выявить хакерские атаки, например, перенасыщенные цвета.
Оценщик видит, что модель имеет хорошие оценки по шкале CLIP за «красный куб на вершине синей сферы», даже несмотря на то, что цвета поменялись местами. Они добавляют композиционный тест на основе детектора, такой как GenEval, чтобы выявить эти ошибки привязки атрибутов.
Оценка движется к методам, которые проверяют конкретные утверждения на изображении, а не полагаются на один глобальный показатель сходства. Подходы с ответами на вопросы, такие как TIFA, и тесты на основе детекторов, такие как GenEval, спрашивают, действительно ли отображается каждый объект, счетчик и атрибут в подсказке. Мультимодальные языковые модели также все чаще используются в качестве судей. Эти инструменты имеют свои собственные ошибки и предвзятости, поэтому они скорее дополняют оценки внедрения, чем заменяют их. Исследования на человеке и общественная сфера остаются ориентиром. Исследователи до сих пор спорят о том, как собирать данные о предпочтениях, отражающие широкий круг пользователей, а не узкую группу аннотаторов.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Оценка CLIP показывает, насколько хорошо сгенерированное изображение соответствует текстовой подсказке. Он встраивает изображение и приглашение в модель CLIP OpenAI и сравнивает два встраивания. Метрики человеческих предпочтений, такие как ImageReward, HPS и PickScore, представляют собой модели, обученные предсказывать, какое из нескольких изображений люди выберут. Эти оценки имеют значение, потому что сам по себе FID ничего не говорит о том, следует ли изображение его подсказке или привлекает ли оно людей, и теперь они являются стандартными в документах по преобразованию текста в изображение, таблицах лидеров и конвейерах тонкой настройки.
FID сравнивает статистику объектов сгенерированных и реальных изображений в наборе данных. Он отражает реализм и разнообразие, но полностью игнорирует подсказку, и именно для заполнения этого пробела была создана оценка CLIP.
CLIP размещает изображения и текст в общем пространстве встраивания. Оценка представляет собой косинусное сходство между встраиванием изображения и встраиванием подсказки, часто масштабируемое на 100.
PickScore был обучен на Pick-a-Pic, где пользователи веб-приложения выбирали понравившееся из двух сгенерированных изображений для одной и той же подсказки.
CLIP отчасти ведет себя как мешок слов. Он замечает, какие понятия присутствуют, но часто упускает из виду, как они связаны, например, количество, положение или привязку цвета.
Каждый кодировщик изучает свое собственное пространство внедрения, поэтому одно и то же изображение и приглашение получают разные оценки от разных кодировщиков. В документах должно быть указано, какой кодер они использовали.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Сбор данных о предпочтениях человека для RLHF
Языковой ИИ