A continuaciónSiguiente guía
Tabla de clasificación de llamadas a funciones de Berkeley
Técnico
GUÍA Técnica
La llamada a función paralela ocurre cuando un modelo de lenguaje solicita varias llamadas a herramientas en una sola respuesta, para que la aplicación pueda ejecutarlas al mismo tiempo y devolver todos los resultados juntos.
Escuche esta guíaNarrado por IA · ~3 min
Es importante porque reduce los viajes de ida y vuelta y la latencia para búsquedas independientes, pero sólo es seguro cuando las llamadas no dependen unas de otras y cuando la aplicación maneja correctamente los pedidos, los efectos secundarios y los fallos parciales.
En el uso básico de herramientas, un modelo solicita una herramienta, la aplicación la ejecuta, devuelve el resultado y el modelo continúa. Cada paso cuesta un viaje de ida y vuelta del modelo completo. Con la llamada a funciones paralelas, el modelo puede emitir múltiples solicitudes de llamada a herramientas en una respuesta, cada una con su propio identificador, nombre y argumentos. La aplicación los ejecuta, a menudo simultáneamente, y devuelve un resultado por llamada, cada uno vinculado a su identificador para que el modelo sepa qué resultado pertenece a qué solicitud. OpenAI agregó llamadas a funciones paralelas a su API a fines de 2023, y otros proveedores importantes admiten múltiples llamadas a herramientas a la vez. Algunas API exponen una configuración para desactivar este comportamiento cuando una aplicación necesita estrictamente una llamada a la vez. Las llamadas paralelas son seguras cuando son independientes: lecturas que no se afectan entre sí, como buscar varios registros o ejecutar varias búsquedas. Son riesgosos cuando una llamada necesita la salida de otra, o cuando las llamadas tienen efectos secundarios que interactúan, como dos escrituras en el mismo registro o un cargo seguido de un reembolso. El orden en el que el modelo enumera las llamadas no es un orden de ejecución garantizado y la aplicación puede finalizarlas en cualquier orden. Un error común es pensar que el modelo ejecuta las herramientas en paralelo. No es así; sólo los solicita. La simultaneidad, los tiempos de espera y los reintentos son responsabilidad de la aplicación. Otro concepto erróneo es que si falla una llamada, falla todo el lote. Una aplicación bien construida devuelve cada resultado individualmente, incluidos los errores, para que el modelo pueda continuar con lo que tuvo éxito. Para los pasos dependientes, el modelo debe llamar a la primera herramienta, esperar su resultado y luego llamar a la siguiente. Las buenas descripciones de las herramientas y las instrucciones del sistema pueden ayudar a determinar cuándo realizar lotes y cuándo secuenciar.
A un asistente de viaje al que se le preguntó sobre el tiempo en París, Roma y Madrid, emite tres búsquedas del tiempo en un turno y la aplicación las ejecuta simultáneamente.
Un agente del panel de ventas recupera los pedidos de un cliente, abre tickets de soporte y notas de cuenta en un lote paralelo antes de escribir un resumen.
Un agente al que se le solicita crear una carpeta y luego escribir un archivo en ella no debe realizar ambas llamadas en paralelo, porque la escritura depende de la carpeta existente.
Un agente de investigación envía cinco búsquedas en paralelo; dos tiempos de espera y la aplicación devuelve tres resultados más dos mensajes de error claros para que el modelo pueda volver a intentar solo los que fallaron.
A medida que los agentes asumen tareas más grandes, el uso de herramientas paralelas se está convirtiendo en una forma rutinaria de reducir la latencia y se están entrenando modelos para reconocer qué llamadas son independientes. Los arneses también están agregando características como programación consciente de la dependencia y bloqueo de recursos para que las solicitudes por lotes se puedan ejecutar de forma segura. Es probable que el juicio del modelo sobre las dependencias mejore, pero la aplicación seguirá siendo responsable de hacer cumplir la seguridad en los efectos secundarios, tiempos de espera y reintentos, ya que dependen de sistemas reales que el modelo no puede ver.
Boletín gratuito
Tres noticias verificadas sobre IA cada mañana de lunes a viernes, explicadas con claridad. Gratis para siempre y sin anuncios.
Un correo cada día laborable. Date de baja con un clic. Nunca vendemos ni compartimos tu dirección.
Ponte a prueba
Corrección inmediata en cada respuesta y un certificado para compartir, con un ID verificable, cuando apruebas un curso.
Apoya la educación gratuita sobre IA. AI Understanding es una organización sin fines de lucro 501(c)(3): sin anuncios ni muros de pago, nunca. Hacer una donación
La llamada a función paralela ocurre cuando un modelo de lenguaje solicita varias llamadas a herramientas en una sola respuesta, para que la aplicación pueda ejecutarlas al mismo tiempo y devolver todos los resultados juntos. Es importante porque reduce los viajes de ida y vuelta y la latencia para búsquedas independientes, pero sólo es seguro cuando las llamadas no dependen unas de otras y cuando la aplicación maneja correctamente los pedidos, los efectos secundarios y los fallos parciales.
El modelo emite múltiples solicitudes de llamada de herramientas en un solo turno, que la aplicación puede ejecutar juntas.
El modelo sólo solicita llamadas; la simultaneidad, los tiempos de espera y los reintentos son trabajo de la aplicación.
La escritura del archivo depende de la carpeta existente, por lo que las llamadas deben ejecutarse en secuencia.
Las llamadas simultáneas finalizan en un orden impredecible, por lo que el identificador es el vínculo confiable.
Devolver cada resultado individualmente, incluidos los errores, permite que el modelo continúe y vuelva a intentarlo de forma selectiva.
sigue aprendiendo
Más guías seleccionadas para este tema.
A continuaciónSiguiente guía
Tabla de clasificación de llamadas a funciones de Berkeley
Técnico