Викторина, связанная с руководством · Жесткий Уровень
Викторина «Оценка агентов искусственного интеллекта»
Проверяет, как оценки агентов оценивают успешность выполнения задач, траектории и использование инструментов, почему важны оценка с учетом окружающей среды и повторные испытания, а также компромиссы между оценщиками.
Вопрос 1 из 8
Почему агентам обычно недостаточно проверки одного окончательного ответа?
Предварительный просмотр каждого вопроса8 вопросы
Ответы и пояснения появляются по мере прохождения теста.
- Почему агентам обычно недостаточно проверки одного окончательного ответа?
- Агенты никогда не дают ответов
- Агенты действуют на протяжении многих шагов и вызывают побочные эффекты, поэтому путь и конечное состояние имеют значение.
- Ответы всегда правильные
- Справочные ответы не могут быть написаны для задач агента.
- Как SWE-bench определяет, решил ли агент проблему?
- Путем запуска тестов репозитория после патча агента
- Подсчет строк изменился
- Спросив агента, удалось ли это
- Измеряя скорость реакции
- Что измеряет метрика в стиле pass^k?
- Скорость работы с k инструментами
- Успешная хотя бы одна из k попыток
- Успеет ли агент выполнить каждую из k повторных попыток
- Количество токенов за шаг
- Какое измерение будет указывать на агента, который преуспевает, но делает пятьдесят шагов для выполнения пятиэтапной работы?
- Успех задачи
- Безопасность
- Именование инструмента
- Качество траектории
- В чем известный недостаток оценщиков, основанных на моделях?
- Они не могут читать текст
- Они могут быть предвзятыми, например, к длинным или уверенным ответам, поэтому им необходимо сверяться с человеческими ярлыками.
- Они всегда медленнее людей
- Они работают только с изображениями
- Зачем сбрасывать среду в известное состояние перед каждым запуском?
- Таким образом, результаты воспроизводимы, и прогоны не могут влиять друг на друга.
- Для экономии дискового пространства
- Потому что агенты требуют, чтобы он запустился
- Чтобы усложнить задачу
- Почему результаты публичной таблицы лидеров могут ввести команду в заблуждение?
- Они всегда подделываются
- Таблицы лидеров никогда не публикуют цифры
- Тесты производительности могут просачиваться в данные обучения, насыщать или не соответствовать вашей рабочей нагрузке.
- Они измеряют только стоимость
- Как при оценке безопасности следует относиться к запуску, в котором агент выполнил задачу, но подчинился заданной инструкции по утечке данных?
- Как полный успех
- Как частичный успех, стоящий половины кредита
- Это следует игнорировать
- Как неудача