Викторина, связанная с руководством · Средний Уровень
Викторина по лесам и ремням агента
Тестирует цикл агента и диспетчеризацию инструментов, правила остановки и обработку ошибок, а также объясняет, почему одна и та же модель по-разному оценивается в разных вариантах.
Вопрос 1 из 8
Что такое агентский комплект?
Предварительный просмотр каждого вопроса8 вопросы
Ответы и пояснения появляются по мере прохождения теста.
- Что такое агентский комплект?
- Веса нейронной сети модели
- Код модели, который запускает цикл, запускает инструменты и решает, когда остановиться.
- Набор данных для обучения агентов
- Тип графического процессора
- Какой пример правила остановки?
- Использование более крупной модели
- Максимальное количество шагов или бюджет затрат
- Добавление дополнительных инструментов
- Изменение шрифта выходных данных
- На чем акцентировался проект SWE-агент?
- Этим моделям не нужны инструменты
- Интерфейс агент-компьютер, разработанный для моделей, с краткими средствами просмотра и немедленной обратной связью.
- Более крупные графические процессоры решают все проблемы агентов
- Удаление петли полностью
- Почему одна и та же модель может иметь разную оценку на SWE-bench в разных отчетах?
- Эталонный показатель меняется каждый час
- Оценки отражают модель, а также оборудование, инструменты, ограничения по шагам и политику повторных попыток.
- Модели забывают тренировки между пробежками
- Очки присваиваются случайным образом
- Как обычно ремень безопасности обрабатывает неудачный вызов инструмента?
- Немедленно завершить весь запуск
- Верните ошибку в модель как результат инструмента, на который она может отреагировать.
- Молча игнорировать это
- Перезагрузите компьютер
- Какова цель ограничения размера выходных данных инструмента и усечения маркировки?
- Скрыть информацию от пользователей
- Чтобы сохранить управляемость контекста и сообщить модели, что нужно выполнить поиск или просмотреть дополнительную информацию.
- Чтобы инструменты работали быстрее на графическом процессоре
- Чтобы модель не могла использовать инструменты
- Что следует сохранять постоянным при справедливом сравнении двух моделей как агентов?
- Только название модели
- Жгут, подсказка, инструменты, ограничение количества шагов и политика повторных попыток.
- Ничего; варьировать все
- Только дата теста
- Ремень останавливается, прежде чем крупный инструмент возврата требует одобрения человека. Какой принцип проектирования это демонстрирует?
- Сжатие контекста
- Закрытие инструментов побочных эффектов с разрешениями или подтверждением
- Параллельный вызов функций
- Внедрение тонкой настройки