Параллельный вызов функций

При использовании базового инструмента модель запрашивает один инструмент, приложение запускает его, возвращает результат, и модель продолжает работать. Каждый шаг стоит полного путешествия модели туда и обратно. При параллельном вызове функций модель может отправлять несколько запросов вызова инструментов в одном ответе, каждый со своим идентификатором, именем и аргументами. Приложение выполняет их, часто одновременно, и отправляет обратно один результат для каждого вызова, каждый из которых связан со своим идентификатором, чтобы модель знала, какой результат к какому запросу принадлежит. OpenAI добавил параллельный вызов функций в свой API в конце 2023 года, а другие крупные поставщики поддерживают несколько вызовов инструментов за один раз. Некоторые API предоставляют настройку, позволяющую отключить это поведение, когда приложению требуется строго один вызов за раз. Параллельные вызовы безопасны, если они независимы: операции чтения, которые не влияют друг на друга, например поиск нескольких записей или выполнение нескольких поисков. Они опасны, когда один вызов требует вывода другого или когда вызовы имеют взаимодействующие побочные эффекты, такие как две записи в одну и ту же запись или списание средств с последующим возвратом средств. Порядок, в котором модель перечисляет вызовы, не является гарантированным порядком выполнения, и приложение может завершить их в любом порядке. Распространенным заблуждением является то, что модель запускает инструменты параллельно. Это не так; он только запрашивает их. Ответственность за параллелизм, таймауты и повторные попытки лежит на приложении. Еще одно заблуждение состоит в том, что если один вызов завершается неудачей, то весь пакет завершается неудачно. Хорошо построенное приложение возвращает каждый результат индивидуально, включая ошибки, поэтому модель может продолжить работу над тем, что удалось. Для зависимых шагов модель должна вызвать первый инструмент, дождаться его результата, а затем вызвать следующий. Хорошие описания инструментов и системные инструкции помогут определить, когда производить пакетную обработку, а когда — последовательность.