Тест для формирователя инструментов и самообучения по использованию инструментов

Ответы и пояснения появляются по мере прохождения теста.

1. Что делает подход Toolformer к использованию инструментов обучения особенным?
   • Он генерирует и фильтрует собственные примеры обучения использованию инструментов под самоконтролем.
   • Он опирается на тысячи вызовов инструментов, помеченных человеком.
   • Он использует обучение с подкреплением только на основе отзывов людей.
   • Он жестко кодирует каждый вызов инструмента вручную.
2. Какой критерий использует Toolformer, чтобы решить, следует ли сохранять кандидатский вызов API?
   • Одобрит ли это человек-оценщик
   • Уменьшит ли результат вызова потери модели на следующих токенах
   • Возвращает ли вызов непустую строку
   • Продолжительность вызова менее одной секунды
3. Какой набор инструментов научился использовать оригинальный Toolformer?
   • Генератор изображений, музыкальный синтезатор и 3D-рендерер
   • Только интерпретатор Python
   • Калькулятор, система контроля качества, поисковая система, переводчик и календарь
   • Только веб-браузер и файловая система
4. Как вызовы инструментов представлены в тексте в процессе работы Toolformer?
   • Как отдельные аудиоканалы
   • Как изображения, добавленные в документ
   • Только как записи во внешней базе данных
   • В виде специальных токенов, обозначающих вызов API и его результат в строке.
5. Какая основная слабость больших языковых моделей мотивировала Toolformer?
   • Они плохо разбираются в арифметике, текущих фактах и точном поиске.
   • Они не могут генерировать плавные предложения
   • Их нельзя точно настроить
   • Они работают только на английском языке
6. Что с ними делает Toolformer после создания и фильтрации примеров вызовов инструментов?
   • Отбрасывает их и начинает сначала
   • Точная настройка модели на основе отфильтрованного самостоятельно сгенерированного набора данных.
   • Отправляет их аннотаторам для повторной маркировки.
   • Сохраняет их только для оценки
7. Why compare the next-token loss with and without an API result when filtering a candidate call?
   • To select the API with the longest response
   • To remove all calls that change the context
   • To retain calls whose result improves prediction of the following real text
   • To maximize the number of API calls per paragraph
8. Once useful tool-call examples are filtered, how does Toolformer incorporate them?
   • It discards them and trains only on human ratings
   • It changes the API results into class labels
   • It retrains each external API from scratch
   • It fine-tunes on the resulting self-generated examples