Викторина, связанная с руководством · Средний Уровень
Тест по оценке CLIP и показателям человеческих предпочтений
Проверяет, как оценка CLIP измеряет быстрое соответствие, как обучаются модели предпочтений, такие как PickScore и ImageReward, и где каждая метрика не работает.
Вопрос 1 из 8
Почему одного FID недостаточно для оценки моделей преобразования текста в изображение?
Предварительный просмотр каждого вопроса8 вопросы
Ответы и пояснения появляются по мере прохождения теста.
- Почему одного FID недостаточно для оценки моделей преобразования текста в изображение?
- Для каждого изображения требуются человеческие аннотаторы.
- Он никогда не смотрит на подсказку, поэтому не может измерить выравнивание текста.
- Работает только с черно-белыми изображениями.
- Он измеряет сходство CLIP, а не реализм.
- Как рассчитывается базовый балл CLIP?
- Путем подсчета пикселей, соответствующих цветам подсказки.
- Путем обучения дискриминатора на сгенерированных изображениях
- Путем усреднения начальных функций по набору данных
- Беря косинусное сходство между изображением CLIP и встраиванием текста
- На каком наборе данных обучался PickScore?
- Pick-a-Pic — набор вариантов, сделанных пользователями веб-приложения.
- Только подписи COCO
- Метки классов ImageNet
- Сбор статистики FID
- Какой недостаток типичен для скоринга на основе CLIP?
- Он не может обрабатывать цветные изображения.
- Это всегда наказывает фотореализм
- Он часто упускает из виду количество, пространственные отношения и то, какой атрибут какому объекту принадлежит.
- Требуются подсказки короче пяти слов.
- Почему нельзя напрямую сравнить показатели CLIP из разных магистральных сетей?
- All backbones produce identical scores, so there is nothing to compare
- Different encoders such as ViT-B/32 and ViT-L/14 have different embedding spaces and score ranges
- CLIP score is only defined for one backbone
- Backbones only affect FID, not CLIP score
- What risk arises when a model is optimized directly against a preference score?
- The score becomes impossible to compute
- The model loses the ability to read prompts
- It may learn to please the scorer, for example with oversaturated images, rather than people
- FID automatically improves
- What typically happens to the part of a prompt beyond CLIP's 77-token limit?
- It is scored separately and averaged in
- The encoder expands its context window automatically
- It is summarized into fewer tokens first
- It is truncated, so it never affects the score
- Which kind of evaluation checks whether each object and attribute in a prompt actually appears?
- Тесты на основе вопросов-ответов или детекторов, такие как TIFA и GenEval.
- ПИД
- Необработанное косинусное сходство CLIP
- Повышение шкалы наведения