Викторина, связанная с руководством · Жесткий Уровень

Викторина «Оценка агентов искусственного интеллекта»

Проверяет, как оценки агентов оценивают успешность выполнения задач, траектории и использование инструментов, почему важны оценка с учетом окружающей среды и повторные испытания, а также компромиссы между оценщиками.

Связанные направляющие путиОценка агентов ИИ
Вопрос 1 из 8

Почему агентам обычно недостаточно проверки одного окончательного ответа?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Почему агентам обычно недостаточно проверки одного окончательного ответа?
    • Агенты никогда не дают ответов
    • Агенты действуют на протяжении многих шагов и вызывают побочные эффекты, поэтому путь и конечное состояние имеют значение.
    • Ответы всегда правильные
    • Справочные ответы не могут быть написаны для задач агента.
  2. Как SWE-bench определяет, решил ли агент проблему?
    • Путем запуска тестов репозитория после патча агента
    • Подсчет строк изменился
    • Спросив агента, удалось ли это
    • Измеряя скорость реакции
  3. Что измеряет метрика в стиле pass^k?
    • Скорость работы с k инструментами
    • Успешная хотя бы одна из k попыток
    • Успеет ли агент выполнить каждую из k повторных попыток
    • Количество токенов за шаг
  4. Какое измерение будет указывать на агента, который преуспевает, но делает пятьдесят шагов для выполнения пятиэтапной работы?
    • Успех задачи
    • Безопасность
    • Именование инструмента
    • Качество траектории
  5. В чем известный недостаток оценщиков, основанных на моделях?
    • Они не могут читать текст
    • Они могут быть предвзятыми, например, к длинным или уверенным ответам, поэтому им необходимо сверяться с человеческими ярлыками.
    • Они всегда медленнее людей
    • Они работают только с изображениями
  6. Зачем сбрасывать среду в известное состояние перед каждым запуском?
    • Таким образом, результаты воспроизводимы, и прогоны не могут влиять друг на друга.
    • Для экономии дискового пространства
    • Потому что агенты требуют, чтобы он запустился
    • Чтобы усложнить задачу
  7. Почему результаты публичной таблицы лидеров могут ввести команду в заблуждение?
    • Они всегда подделываются
    • Таблицы лидеров никогда не публикуют цифры
    • Тесты производительности могут просачиваться в данные обучения, насыщать или не соответствовать вашей рабочей нагрузке.
    • Они измеряют только стоимость
  8. Как при оценке безопасности следует относиться к запуску, в котором агент выполнил задачу, но подчинился заданной инструкции по утечке данных?
    • Как полный успех
    • Как частичный успех, стоящий половины кредита
    • Это следует игнорировать
    • Как неудача