A seguirPróximo guia
Memória de agente episódica e semântica
Técnico
GUIA Técnico
Voyager é um agente do Minecraft com tecnologia LLM que aprende uma biblioteca de habilidades reutilizáveis, permitindo que ele resolva novas tarefas por meio do aprendizado ao longo da vida, em vez de começar do zero todas as vezes.
Construída pela NVIDIA, Caltech e colaboradores (Wang et al.), a Voyager usa GPT-4 como cérebro e trata as habilidades como código JavaScript executável que controla um bot do Minecraft. Ele executa três componentes interativos: um currículo automático que propõe metas cada vez mais difíceis para maximizar a exploração, um mecanismo de prompt iterativo que escreve código, executa-o no jogo, lê erros e feedback do ambiente e autodepura até que a habilidade funcione, e uma biblioteca de habilidades onde cada habilidade verificada é armazenada e indexada por uma incorporação de descrição em linguagem natural. Como as novas habilidades são compostas de habilidades previamente armazenadas, a capacidade aumenta com o tempo. A Voyager obteve muito mais itens exclusivos, viajou distâncias maiores e desbloqueou marcos da árvore tecnológica muito mais rápido do que os agentes anteriores, e suas habilidades aprendidas foram transferidas para novos mundos.
As decisões de arquitetura impulsionam o desempenho e os custos operacionais durante anos.
A educação técnica ajuda as equipes a escolher a pilha certa, não apenas a mais nova.
Melhores escolhas de engenharia reduzem incidentes de confiabilidade na produção.
Os agentes das bibliotecas de competências apontam para sistemas que armazenam capacidades reutilizáveis e verificadas e que se tornam mais capazes à medida que funcionam, uma personificação da aprendizagem ao longo da vida. Esperemos que estas bibliotecas se expandam para além dos jogos, para a robótica, a automação de software e os assistentes digitais, com a recuperação, a composição e as verificações de segurança das competências aprendidas tornando-se a infraestrutura central. As grandes questões em aberto são eliminar habilidades ruins, compartilhar bibliotecas entre agentes e garantir que comportamentos compostos permaneçam confiáveis.
Progredindo de forma autônoma na árvore tecnológica do Minecraft (madeira, pedra, ferro e ferramentas de diamante), compondo habilidades aprendidas.
Escrever e autodepurar uma habilidade de código 'mine and craft' e, em seguida, reutilizá-la sempre que essa subtarefa se repetir.
Recuperar uma habilidade de 'combater um zumbi' armazenada anteriormente por meio de sua descrição incorporada quando uma ameaça semelhante aparece.
Transferir uma biblioteca de habilidades aprendidas para um mundo Minecraft recém-gerado para iniciar novas tarefas com mais rapidez.
A otimização de um benchmark pode ocultar fraquezas mais amplas do sistema.
Os custos de infraestrutura e manutenção são frequentemente subestimados.
As lacunas de segurança e observabilidade podem aumentar à medida que os sistemas se tornam mais complexos.
Defina metas de latência, qualidade e custo antes da implementação.
Benchmark sob condições realistas de carga e dados.
Monitoramento de instrumentos para erros, desvios e impacto no usuário.
Prepare caminhos de reversão e resposta a incidentes antes de escalar.
Free newsletter
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Voyager é um agente do Minecraft com tecnologia LLM que aprende uma biblioteca de habilidades reutilizáveis, permitindo que ele resolva novas tarefas por meio do aprendizado ao longo da vida, em vez de começar do zero todas as vezes.
A Voyager aprende sem atualizações de gradiente: ela armazena habilidades verificadas como código e cria novas habilidades a partir das antigas, de modo que as habilidades são compostas no contexto.
Cada habilidade é um trecho de código executável que emite ações para o bot do Minecraft, tornando as habilidades executáveis e combináveis.
O currículo automático sugere tarefas cada vez mais desafiadoras e adequadas ao estado atual do agente, impulsionando a exploração aberta.
As habilidades são indexadas pela incorporação de sua descrição em linguagem natural, de modo que habilidades semanticamente relevantes são recuperadas como blocos de construção para novas tarefas.
A Voyager executa seu código, observa erros de execução e feedback do estado do jogo e solicita ao modelo que corrija o código, repetindo até que a habilidade funcione.
Continue aprendendo
Mais guias escolhidos para este tópico
A seguirPróximo guia
Memória de agente episódica e semântica
Técnico