Викторина, связанная с руководством · Средний Уровень

Тест по оценке CLIP и показателям человеческих предпочтений

Проверяет, как оценка CLIP измеряет быстрое соответствие, как обучаются модели предпочтений, такие как PickScore и ImageReward, и где каждая метрика не работает.

Вопрос 1 из 8

Почему одного FID недостаточно для оценки моделей преобразования текста в изображение?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Почему одного FID недостаточно для оценки моделей преобразования текста в изображение?
    • Для каждого изображения требуются человеческие аннотаторы.
    • Он никогда не смотрит на подсказку, поэтому не может измерить выравнивание текста.
    • Работает только с черно-белыми изображениями.
    • Он измеряет сходство CLIP, а не реализм.
  2. Как рассчитывается базовый балл CLIP?
    • Путем подсчета пикселей, соответствующих цветам подсказки.
    • Путем обучения дискриминатора на сгенерированных изображениях
    • Путем усреднения начальных функций по набору данных
    • Беря косинусное сходство между изображением CLIP и встраиванием текста
  3. На каком наборе данных обучался PickScore?
    • Pick-a-Pic — набор вариантов, сделанных пользователями веб-приложения.
    • Только подписи COCO
    • Метки классов ImageNet
    • Сбор статистики FID
  4. Какой недостаток типичен для скоринга на основе CLIP?
    • Он не может обрабатывать цветные изображения.
    • Это всегда наказывает фотореализм
    • Он часто упускает из виду количество, пространственные отношения и то, какой атрибут какому объекту принадлежит.
    • Требуются подсказки короче пяти слов.
  5. Почему нельзя напрямую сравнить показатели CLIP из разных магистральных сетей?
    • All backbones produce identical scores, so there is nothing to compare
    • Different encoders such as ViT-B/32 and ViT-L/14 have different embedding spaces and score ranges
    • CLIP score is only defined for one backbone
    • Backbones only affect FID, not CLIP score
  6. What risk arises when a model is optimized directly against a preference score?
    • The score becomes impossible to compute
    • The model loses the ability to read prompts
    • It may learn to please the scorer, for example with oversaturated images, rather than people
    • FID automatically improves
  7. What typically happens to the part of a prompt beyond CLIP's 77-token limit?
    • It is scored separately and averaged in
    • The encoder expands its context window automatically
    • It is summarized into fewer tokens first
    • It is truncated, so it never affects the score
  8. Which kind of evaluation checks whether each object and attribute in a prompt actually appears?
    • Тесты на основе вопросов-ответов или детекторов, такие как TIFA и GenEval.
    • ПИД
    • Необработанное косинусное сходство CLIP
    • Повышение шкалы наведения