Викторина, связанная с руководством · Средний Уровень

Викторина по лесам и ремням агента

Тестирует цикл агента и диспетчеризацию инструментов, правила остановки и обработку ошибок, а также объясняет, почему одна и та же модель по-разному оценивается в разных вариантах.

Связанные направляющие путиАгентские леса и ремни безопасности
Вопрос 1 из 8

Что такое агентский комплект?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Что такое агентский комплект?
    • Веса нейронной сети модели
    • Код модели, который запускает цикл, запускает инструменты и решает, когда остановиться.
    • Набор данных для обучения агентов
    • Тип графического процессора
  2. Какой пример правила остановки?
    • Использование более крупной модели
    • Максимальное количество шагов или бюджет затрат
    • Добавление дополнительных инструментов
    • Изменение шрифта выходных данных
  3. На чем акцентировался проект SWE-агент?
    • Этим моделям не нужны инструменты
    • Интерфейс агент-компьютер, разработанный для моделей, с краткими средствами просмотра и немедленной обратной связью.
    • Более крупные графические процессоры решают все проблемы агентов
    • Удаление петли полностью
  4. Почему одна и та же модель может иметь разную оценку на SWE-bench в разных отчетах?
    • Эталонный показатель меняется каждый час
    • Оценки отражают модель, а также оборудование, инструменты, ограничения по шагам и политику повторных попыток.
    • Модели забывают тренировки между пробежками
    • Очки присваиваются случайным образом
  5. Как обычно ремень безопасности обрабатывает неудачный вызов инструмента?
    • Немедленно завершить весь запуск
    • Верните ошибку в модель как результат инструмента, на который она может отреагировать.
    • Молча игнорировать это
    • Перезагрузите компьютер
  6. Какова цель ограничения размера выходных данных инструмента и усечения маркировки?
    • Скрыть информацию от пользователей
    • Чтобы сохранить управляемость контекста и сообщить модели, что нужно выполнить поиск или просмотреть дополнительную информацию.
    • Чтобы инструменты работали быстрее на графическом процессоре
    • Чтобы модель не могла использовать инструменты
  7. Что следует сохранять постоянным при справедливом сравнении двух моделей как агентов?
    • Только название модели
    • Жгут, подсказка, инструменты, ограничение количества шагов и политика повторных попыток.
    • Ничего; варьировать все
    • Только дата теста
  8. Ремень останавливается, прежде чем крупный инструмент возврата требует одобрения человека. Какой принцип проектирования это демонстрирует?
    • Сжатие контекста
    • Закрытие инструментов побочных эффектов с разрешениями или подтверждением
    • Параллельный вызов функций
    • Внедрение тонкой настройки