A continuaciónSiguiente guía
Memoria de agentes episódica y semántica
Técnico
GUÍA Técnica
Voyager es un agente de Minecraft con tecnología LLM que aprende una biblioteca de habilidades reutilizable, lo que le permite resolver nuevas tareas a través del aprendizaje permanente en lugar de comenzar desde cero cada vez.
Construido por NVIDIA, Caltech y sus colaboradores (Wang et al.), Voyager utiliza GPT-4 como cerebro y trata las habilidades como código JavaScript ejecutable que controla un bot de Minecraft. Ejecuta tres componentes interactivos: un plan de estudios automático que propone objetivos cada vez más difíciles para maximizar la exploración, un mecanismo iterativo que escribe código, lo ejecuta en el juego, lee errores y comentarios del entorno y se autodepura hasta que la habilidad funciona, y una biblioteca de habilidades donde cada habilidad verificada se almacena e indexa mediante una descripción en lenguaje natural. Debido a que las nuevas habilidades se componen de otras previamente almacenadas, la capacidad se acumula con el tiempo. La Voyager obtuvo muchos más elementos únicos, viajó distancias más largas y desbloqueó hitos del árbol tecnológico mucho más rápido que los agentes anteriores, y sus habilidades aprendidas se transfirieron a mundos nuevos.
Las decisiones de arquitectura impulsan el rendimiento y los costos operativos durante años.
La educación técnica ayuda a los equipos a elegir la pila adecuada, no sólo la más nueva.
Mejores opciones de ingeniería reducen los incidentes de confiabilidad en la producción.
Los agentes de la biblioteca de habilidades apuntan hacia sistemas que almacenan habilidades reutilizables y verificadas y se vuelven más capaces cuanto más funcionan, una encarnación del aprendizaje permanente. Se espera que estas bibliotecas se expandan más allá de los juegos hacia la robótica, la automatización de software y los asistentes digitales, y que la recuperación, la composición y los controles de seguridad de las habilidades aprendidas se conviertan en una infraestructura central. Las grandes preguntas abiertas son eliminar las malas habilidades, compartir bibliotecas entre agentes y garantizar que los comportamientos compuestos sigan siendo confiables.
Progresar de forma autónoma a través del árbol tecnológico de Minecraft (de madera a piedra, de hierro a herramientas de diamante) componiendo las habilidades aprendidas.
Escribir y autodepurar una habilidad de código de "mina y creación" y luego reutilizarla cada vez que esa subtarea se repita.
Recuperar una habilidad de 'combatir contra un zombi' previamente almacenada a través de su descripción incrustada cuando aparece una amenaza similar.
Transferir una biblioteca de habilidades aprendidas a un mundo de Minecraft recién generado para iniciar nuevas tareas más rápido.
La optimización de un punto de referencia puede ocultar debilidades más amplias del sistema.
Los costos de infraestructura y mantenimiento a menudo se subestiman.
Las brechas de seguridad y observabilidad pueden crecer a medida que los sistemas se vuelven más complejos.
Defina objetivos de latencia, calidad y costos antes de la implementación.
Comparación en condiciones realistas de carga y datos.
Monitoreo de instrumentos para detectar errores, deriva e impacto para el usuario.
Prepare rutas de reversión y respuesta a incidentes antes de escalar.
Free newsletter
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Voyager es un agente de Minecraft con tecnología LLM que aprende una biblioteca de habilidades reutilizable, lo que le permite resolver nuevas tareas a través del aprendizaje permanente en lugar de comenzar desde cero cada vez.
Voyager aprende sin actualizaciones de gradiente: almacena habilidades verificadas como código y crea nuevas habilidades a partir de las antiguas, por lo que las habilidades se combinan en contexto.
Cada habilidad es un fragmento de código ejecutable que emite acciones al bot de Minecraft, lo que hace que las habilidades sean ejecutables y componibles.
El plan de estudios automático sugiere tareas cada vez más desafiantes que se adaptan al estado actual del agente, lo que impulsa una exploración abierta.
Las habilidades se indexan mediante la incorporación de su descripción en lenguaje natural, de modo que las habilidades semánticamente relevantes se recuperan como componentes básicos para nuevas tareas.
Voyager ejecuta su código, observa errores de ejecución y comentarios sobre el estado del juego, y solicita al modelo que corrija el código, repitiendo hasta que la habilidad funcione.
sigue aprendiendo
Más guías seleccionadas para este tema.
A continuaciónSiguiente guía
Memoria de agentes episódica y semántica
Técnico