O que aconteceu
Uma pré-impressão publicada no arXiv em 29 de julho de 2026 e revisada em 7 de agosto propõe uma nova maneira de medir o progresso em direção à pesquisa automatizada de IA: entregar a um agente a questão central aberta de um artigo não publicado de alta qualidade e fazer com que os autores originais desse artigo avaliem o resultado. Em dois testes, os agentes de fronteira concluíram a engenharia sem ajuda humana, mas foram rejeitados pelos avaliadores humanos, e os autores identificaram cinco modos de falha recorrentes.
Uma pré-impressão no arXiv, enviada em 29 de julho de 2026 e revisada em 7 de agosto de 2026, pergunta se os agentes de IA podem conduzir pesquisas abertas em IA. Ele traz 24 autores listados, incluindo Peter Kirgis, Sayash Kapoor, Helen Toner, Gillian Hadfield, Seth Lazar, Rishi Bommasani e Arvind Narayanan, e está arquivado em inteligência artificial, computadores e sociedade e aprendizado de máquina. A sua contribuição central é um método de medição que os autores chamam de "avaliação sombra": um agente recebe a questão de pesquisa central e aberta de um artigo de alta qualidade, mas não publicado, e os autores originais do artigo classificam então o que o agente produz.
Os autores posicionam esta como uma terceira opção entre duas abordagens existentes que descrevem como inadequadas. As avaliações actuais dos agentes, escrevem eles, testam os agentes em tarefas restritas e verificáveis - o que, por construção, exclui a investigação aberta - ou submetem documentos gerados pela IA à revisão cega por pares, que caracterizam como sobrecarregados, estocásticos e com fraca qualidade de revisão. Em vez disso, as avaliações sombra utilizam pessoas que já conhecem o problema, a sua literatura e as suas armadilhas como avaliadores, porque têm uma resposta não publicada para comparar.
A equipe executou o método em dois envios não publicados para o NeurIPS 2026. De acordo com o resumo, os agentes de fronteira receberam seis dias e milhares de dólares em computação por tentativa. Os agentes completaram toda a engenharia sem ajuda humana – o código, as experiências, a infra-estrutura – mas não conseguiram fazer progressos substanciais para responder às questões de investigação. Ambos os artigos resultantes foram, nas palavras dos autores, rejeitados inequivocamente pelos autores originais atuando como revisores.
Das transcrições, os autores extraem cinco modos de falha recorrentes: mau julgamento sobre os limites para pesquisas publicáveis; respostas pouco criativas a deficiências no desenho da investigação; retrocesso ineficaz em becos sem saída; pouca consciência dos recursos; e desvio de instrução. Eles relatam que uma verificação de robustez usando um segundo modelo e um segundo andaime reproduziu as mesmas falhas, o que argumenta contra o resultado ser um artefato de um sistema ou equipamento específico. A equipe afirma que está divulgando análises de especialistas, respostas de pesquisas, repositórios de agentes e registros.
Várias coisas que o resumo não estabelece merecem ser declaradas claramente. Não indica quais agentes, modelos ou andaimes foram utilizados, nem o segundo sistema na verificação de robustez. Ele não identifica os dois envios do NeurIPS ou seus subcampos, não fornece um valor computacional exato além de “milhares de dólares”, não descreve a rubrica de classificação ou diz se os avaliadores estavam cegos para o fato de que estavam revisando a produção do agente. O trabalho é uma pré-impressão; nada na fonte indica que a revisão por pares foi concluída. E a amostra consiste em duas questões de pesquisa, avaliadas pelas pessoas que as formularam.
Leia a fonte primária: arxiv.org ↗
Por que isso importa
Os argumentos de que o progresso da IA irá acelerar drasticamente baseiam-se na premissa de que os próprios sistemas de IA podem assumir o controlo da investigação em IA. Esta é uma prova directa, embora pequena, de que a premissa ainda não se sustenta, e separa a parte que os agentes já podem fazer – a implementação – das partes que não podem: julgar o que vale a pena publicar, redesenhar um estudo falho e abandonar becos sem saída.
O enquadramento do artigo vai direto a uma suposição de suporte nas atuais previsões de IA. Como diz o resumo, as previsões de progresso explosivo da IA dependem de agentes de IA que automatizem a investigação em IA – o ciclo no qual sistemas melhores constroem sistemas melhores. Esse ciclo é frequentemente afirmado e raramente medido, porque o que está sendo automatizado é exatamente o tipo de trabalho que resiste a um script de pontuação. Um método que produz um veredicto graduado de investigadores activos sobre uma questão viva e não respondida é uma investigação mais directa dessa suposição do que pontuações de referência em tarefas com respostas conhecidas.
O resultado desenha uma linha no meio do trabalho, e não ao redor dele. Os agentes executaram programas experimentais de vários dias sem supervisão e produziram códigos e resultados funcionais – essa é uma capacidade real e uma mudança significativa em relação a alguns anos atrás. O que eles não fizeram foi a parte que determina se vale a pena publicar uma pesquisa: reconhecer que um resultado é tênue, inventar uma maneira de contornar uma falha de design e saber quando uma linha de ataque está morta. Para as equipes que decidem onde colocar os agentes em um pipeline de pesquisa ou engenharia, essa distinção é mais prática do que uma pontuação de capacidade agregada.
Dois dos cinco modos de falha generalizam-se muito além da pesquisa. A falta de conhecimento dos recursos – queima de um orçamento fixo de computação ou de tempo sem ajuste – e o desvio de instruções, em que um agente para gradualmente de fazer o que foi solicitado, são problemas recorrentes em qualquer implantação autônoma de longo prazo, desde agentes de codificação de vários dias até automação operacional. Os seis dias aqui são excepcionalmente longos para os padrões de avaliação, e é precisamente em horizontes longos que essas falhas têm espaço para se agravar antes que alguém perceba.
As limitações são reais e os autores não as escondem. Dois estudos de caso num local, avaliados com base num conjunto de modelos, não podem apoiar uma afirmação sobre o que os agentes serão capazes de fazer no próximo ano. Este é um resultado nulo com um carimbo de data/hora. Os autores-avaliadores também têm um interesse óbvio na questão que escolheram para trabalhar, e o método consome-se parcialmente: uma vez publicado um artigo, a sua questão de investigação já não pode servir como um teste invisível. A liberação de revisões, repositórios e logs é o que torna a descoberta verificável, em vez de uma reivindicação a ser considerada confiável.
O que assistir a seguir
Se as avaliações sombra são repetidas em maior escala com classificação cega e pré-registrada; se os agentes e scaffolds mais novos fecham a lacuna quando executados novamente nos repositórios e logs liberados; e se os cinco modos de falha resistem ao escrutínio independente e à revisão por pares.
A primeira coisa a observar é se as avaliações paralelas se tornam um instrumento repetível ou permanecem uma demonstração única. Isso significaria mais artigos em mais locais e subáreas, rubricas de classificação pré-registradas e acordadas antes da execução do agente, e classificação sem saber se a produção veio de um agente ou de um ser humano. Significaria também resolver o problema da oferta: o método necessita de um fluxo constante de trabalhos não publicados de alta qualidade, cujos autores estejam dispostos a despender um esforço real de revisão na tentativa de um agente.
A segunda é se a lacuna diminui e com que rapidez. Como os repositórios e logs do agente estão sendo liberados, outros grupos podem executar novamente modelos e estruturas mais recentes com base nas mesmas duas questões de pesquisa e comparar diretamente. Observe se as melhorias aparecem como uma melhor engenharia – o que os agentes já fizeram – ou como um movimento nas falhas de julgamento, que é a parte que o artigo diz estar faltando. Uma repetição que produza mais experimentos, mas a mesma rejeição, seria um sinal diferente daquele que produza um artigo que os autores originais levam a sério.
Terceiro, escrutínio independente dos artefatos divulgados. Os cinco modos de falha são a leitura das próprias transcrições pelos autores; outros pesquisadores que leem os mesmos registros podem categorizar as falhas de maneira diferente ou descobrir que algumas falhas estão relacionadas ao andaime e aos prompts, e não aos modelos. Se a pré-impressão passa pela revisão por pares e se a sua taxonomia sobrevive ao contato com as avaliações de outras pessoas, determinará quanto peso ela pode ter.
Finalmente, aceitação fora da comunidade de pesquisa. A lista de autores inclui pessoas que trabalham diretamente na governança e política de IA, e cronogramas para a alimentação automatizada de P&D de IA em estruturas de segurança de fronteira, limites de capacidade e debates políticos nacionais. Observe se esta evidência é citada nesses contextos e se é relatada com precisão: o artigo diz que os agentes de hoje lutam com partes críticas do ciclo de vida da investigação, com base em dois casos - não que nunca possam fazer investigação, e não que a capacidade de engenharia exibida seja trivial.
