O que aconteceu
Três pesquisadores – Harsh Jaiswal, Mohan Pedhapati e Rahul Maini da Hacktron AI – violaram com sucesso os sistemas internos do OpenAI em um período de 72 horas. De acordo com NewsBytes, a equipe aproveitou a IA Claude de Anthropic para ajudar na escrita e depuração do código necessário para explorar uma vulnerabilidade na plataforma Discourse. Ao encadear uma falha de software de processamento de imagem com uma fraqueza relacionada à identidade, os pesquisadores obtiveram acesso não autorizado às contas ChatGPT e Codex dos funcionários, bem como a um repositório GitHub privado.
A equipe do Hacktron AI iniciou sua pesquisa em um fórum público, eventualmente identificando uma falha de segurança na plataforma Discourse. Eles exploraram uma vulnerabilidade no software de processamento de imagens da plataforma e a encadearam com uma vulnerabilidade separada relacionada à identidade para contornar a autenticação.
Os pesquisadores utilizaram a IA Claude do Anthropic para facilitar o desenvolvimento e a depuração de seu código de exploração. Todo o processo, desde a pesquisa inicial até a violação bem-sucedida, foi concluído em menos de 72 horas.
A equipe obteve acesso a ativos internos confidenciais, incluindo contas de funcionários ChatGPT e Codex, bem como um repositório privado GitHub. Para demonstrar a violação sem causar danos, os pesquisadores enviaram uma solicitação pull inofensiva.
Os pesquisadores gastaram menos de US$ 3.000 em tokens de modelo de IA durante a operação. OpenAI posteriormente abordou a vulnerabilidade relacionada à identidade e concedeu à equipe uma recompensa de bug de US$ 6.500 por sua divulgação responsável.
Detalhes da fonte: newsbytesapp.com ↗
Por que isso importa
Este incidente destaca a natureza de dupla utilização da IA generativa na segurança cibernética, demonstrando como os modelos de IA podem ser utilizados de forma eficaz para acelerar a descoberta de vulnerabilidades complexas de software. A capacidade dos pesquisadores de executar uma exploração em vários estágios em menos de três dias usando a assistência de IA ressalta um cenário de ameaças em constante mudança, onde as operações de segurança defensivas e ofensivas são cada vez mais aumentadas por grandes modelos de linguagem. A identificação e o relatório bem-sucedidos dessas falhas, que renderam à equipe uma recompensa de US$ 6.500 da OpenAI, também ilustram a aplicação prática de programas de recompensas de bugs na proteção de ambientes corporativos integrados à IA.
O uso da IA Claude para automatizar ou auxiliar na criação de cadeias de exploração representa uma evolução significativa na forma como a pesquisa de segurança é conduzida. Isso demonstra que a IA pode reduzir a barreira de entrada na identificação de vulnerabilidades complexas e em várias etapas em software empresarial.
O incidente serve como um estudo de caso para a eficácia dos programas de recompensa por bugs. Ao incentivar hackers éticos a relatar vulnerabilidades, o OpenAI conseguiu remediar uma falha crítica relacionada à identidade antes que ela pudesse ser explorada por atores mal-intencionados.
O evento destaca a necessidade de as empresas tratarem o hacking assistido por IA como um vetor de ameaça legítimo, exigindo monitoramento mais sofisticado de sistemas internos e ciclos de patches mais rigorosos para software de terceiros como o Discourse.
Mecanismo interativo: como realmente funciona
Explore a tecnologia subjacente a este desenvolvimento de forma interativa.
Why can ethical evaluation not be reduced to one model score?
O que assistir a seguir
O foco principal permanece em como as organizações ajustarão os seus protocolos de segurança para se defenderem contra o reconhecimento e a exploração assistidos por IA. À medida que os pesquisadores continuam a usar modelos como Claude para identificar vulnerabilidades, as empresas podem precisar implementar testes de segurança automatizados e medidas de verificação de identidade mais robustas. Atualmente não se sabe se OpenAI implementou novas salvaguardas específicas para evitar encadeamentos semelhantes de vulnerabilidades assistidas por IA, ou se outras organizações estão atualizando seus critérios de recompensa de bugs para levar em conta metodologias de pesquisa orientadas por IA.
Os observadores devem monitorizar se outras grandes empresas de IA reportam violações semelhantes assistidas por IA, o que poderia indicar uma tendência mais ampla nas metodologias de investigação de segurança.
Resta saber se OpenAI ou outros líderes do setor divulgarão orientações específicas ou estruturas de segurança atualizadas sobre o uso de ferramentas de IA na pesquisa de vulnerabilidades.
O impacto a longo prazo nas estruturas dos programas de recompensas por bugs é uma área chave de interesse, especificamente se as empresas irão ajustar pagamentos ou requisitos em resposta ao aumento da velocidade e eficiência proporcionadas pela investigação assistida por IA.