O que aconteceu
Anthropic divulgou um relatório detalhando ataques de destilação em grande escala por concorrentes chineses de IA. A empresa afirmou que Alibaba, Moonshot, DeepSeek, Zhipu e Xiaomi geraram coletivamente quase 190 milhões de interações maliciosas com Claude de maio a julho. Esses ataques envolveram o encaminhamento de consultas de usuários destinadas a modelos domésticos para Claude para coletar dados de treinamento, com o Alibaba sendo responsável por mais de 151 milhões de trocas por meio de 3.500 contas fraudulentas.
Anthropic publicou um relatório na quinta-feira alegando que cinco grandes laboratórios chineses de IA – Alibaba, Moonshot, DeepSeek, Zhipu e Xiaomi – conduziram quase 190 milhões de ataques de destilação contra seu modelo Claude entre maio e julho. Os ataques de destilação envolvem o uso de resultados de modelos avançados para treinar modelos menos avançados, permitindo efetivamente que os concorrentes aproveitem os recursos proprietários do Anthropic sem colaboração direta.
O relatório especifica que DeepSeek e Moonshot AI redirecionaram solicitações de usuários destinadas a seus próprios modelos para Claude. Anthropic registrou 23 milhões desses redirecionamentos por Moonshot e 12,1 milhões por DeepSeek durante um período de 14 dias em julho. Além disso, Anthropic alegou que algumas dessas solicitações expuseram dados confidenciais, incluindo imagens CCTV de um usuário afiliado ao PLA e informações de um banco de dados do governo russo enviado por um empreiteiro militar.
O Alibaba foi identificado como o maior infrator, com mais de 151 milhões de trocas realizadas por 3.500 contas fraudulentas. Essas contas levaram o Claude a gerar seus processos de raciocínio, que foram então usados para treinar os modelos Qwen do Alibaba. Anthropic também acusou Z.ai de um ataque semelhante e observou que a Xiaomi gravou bate-papos de usuários com seus modelos MiMo e os inseriu no Claude para gerar dados de treinamento.
Em resposta a estas ameaças, Anthropic afirmou que implementou novas salvaguardas para proibir atividades suspeitas e reduzir o detalhe das transcrições de raciocínio para limitar a sua utilidade para treinar outros modelos. A empresa também exigirá verificação de identidade para usuários que pareçam operar na China, Rússia ou Irã, regiões onde Claude não está oficialmente disponível. Os representantes das empresas acusadas não responderam às perguntas do Business Insider e Anthropic não forneceram comentários adicionais além do relatório.
Detalhes da fonte: businessinsider.com ↗
Por que isso importa
Este incidente destaca uma vulnerabilidade significativa de segurança e propriedade intelectual no cenário global de IA. Ao extrair transcrições detalhadas de raciocínio, os concorrentes podem acelerar o desenvolvimento dos seus próprios modelos de fronteira, potencialmente reduzindo a lacuna de capacidade com os laboratórios baseados nos EUA. A exposição de dados governamentais e militares sensíveis durante estes ataques sublinha ainda mais os riscos do acesso não verificado a sistemas avançados de IA, levando Anthropic a implementar verificações de identidade e restrições de saída mais rigorosas.
A escala destes ataques representa uma transferência substancial de propriedade intelectual e vantagem computacional. Ao extrair cadeias de raciocínio, os laboratórios chineses podem reduzir significativamente o tempo e os custos necessários para desenvolver modelos de fronteira competitivos, desafiando a liderança tecnológica detida pelas empresas de IA sediadas nos EUA.
A exposição de dados governamentais e militares sensíveis durante estas interações levanta sérias preocupações de segurança. Sugere que os sistemas avançados de IA podem ser vulneráveis à fuga de dados através de engenharia social ou criação fraudulenta de contas, comprometendo potencialmente os interesses de segurança nacional de vários países.
Este incidente pode acelerar a ação regulatória relativa ao acesso ao modelo de IA e à soberania dos dados. Os legisladores nos EUA já apelaram à legislação para fazer face a tais ataques, e este relatório fornece provas concretas que poderão influenciar os debates políticos sobre os fluxos transfronteiriços de dados de IA e os controlos de exportação.
Mecanismo interativo: como realmente funciona
Explore a tecnologia subjacente a este desenvolvimento de forma interativa.
Why can ethical evaluation not be reduced to one model score?
O que assistir a seguir
Monitorar as respostas legislativas nos EUA e na China em relação à extração de dados de IA e aos fluxos de dados transfronteiriços. Fique atento a outras contramedidas técnicas de Anthropic e outros fornecedores de IA para evitar a destilação do modelo. Observe se os laboratórios chineses acusados respondem publicamente às alegações ou se auditorias independentes verificam a escala do vazamento de dados.
Desenvolvimentos legislativos nos EUA e na China em relação à extração de dados de IA, destilação de modelos e privacidade de dados transfronteiriços. Os EUA podem introduzir regulamentações mais rigorosas sobre o acesso ao modelo de IA para entidades estrangeiras, enquanto a China pode responder com as suas próprias medidas de protecção de dados.
Contramedidas técnicas de fornecedores de IA para evitar ataques de destilação. Isto pode incluir verificação de identidade mais robusta, limitação de taxa e ofuscação dos resultados do modelo para reduzir sua utilidade no treinamento de modelos concorrentes.
Respostas públicas dos laboratórios chineses de IA acusados. Uma negação ou esclarecimento poderia fornecer contexto adicional, enquanto o silêncio pode ser interpretado como admissão tácita. Auditorias independentes ou verificações por terceiros da escala do ataque também seriam significativas.