O que aconteceu
Google DeepMind anunciou um piloto para o que descreve como a primeira avaliação duplo-cega de um modelo proprietário de IA de classe de fronteira. O teste usa um modelo Flash Lite Gemini e benchmarks confidenciais fornecidos por avaliadores externos.
Google DeepMind disse em 27 de agosto que está testando uma avaliação duplo-cega na qual testes externos são conduzidos dentro de um ambiente criptográfico. A empresa descreveu o projeto como a primeira avaliação de um modelo proprietário de IA de classe de fronteira. O modelo testado é um modelo Flash Lite Gemini e os benchmarks são confidenciais.
O piloto reúne Google DeepMind, o Singapore Institute, OpenMined, AVERI e MLCommons. A fonte disse que os participantes testarão o modelo em relação a benchmarks confidenciais em um ambiente de preservação da privacidade. Não identifica as questões de referência, não divulga a versão específica do modelo nem fornece resultados do piloto.
O sistema usa o Confidential Space, parte do portfólio de Computação Confidencial da Google Cloud. Google afirma que o ambiente pode verificar criptograficamente se os dados de avaliação externa e o modelo proprietário permanecem privados de seus respectivos proprietários. De acordo com o arranjo descrito, os avaliadores não podem ver os pesos do modelo Gemini, enquanto Google não pode ver os prompts de teste dos avaliadores.
O problema declarado é a contaminação do : um modelo pode ter melhor desempenho se tiver encontrado perguntas ou solicitações de avaliação antes do teste. Google afirma que os procedimentos existentes de registro zero e as salvaguardas contratuais ajudaram a manter a confidencialidade das solicitações externas, mas argumenta que as proteções técnicas e criptográficas adicionam outra camada de garantia.
O anúncio aponta aos leitores um relatório técnico para a metodologia e resultados. O texto fonte não inclui os resultados do relatório, uma auditoria independente, uma descrição do protocolo de verificação criptográfica com detalhes suficientes para avaliá-lo ou evidências de que o piloto já alterou o desempenho do modelo ou as decisões de implantação.
Detalhes da fonte: deepmind.google ↗
Por que isso importa
A abordagem visa reduzir a contaminação do e, ao mesmo tempo, permitir que organizações independentes testem sistemas de IA capazes sem receber os pesos do modelo ou expor suas solicitações de teste ao fornecedor do modelo.
As pontuações de de IA são frequentemente usadas para comparar sistemas e informar decisões sobre capacidade e segurança. Se um modelo ou seu desenvolvedor tiver acesso antecipado ao material de teste, uma pontuação alta pode refletir parcialmente a familiaridade com a avaliação, e não a capacidade que o teste pretende medir. Google enquadra o teste duplo-cego como uma forma de resolver esse problema de credibilidade.
O acordo proposto visa um conflito prático nas avaliações externas. Historicamente, de acordo com Google, os avaliadores compartilhavam prompts com o provedor do modelo ou pediam ao provedor que compartilhasse os pesos do modelo. A primeira opção poderia expor questões confidenciais; a segunda poderia expor propriedade intelectual valiosa. O piloto foi projetado para evitar a necessidade de qualquer troca.
A avaliação de preservação da privacidade pode ser especialmente útil para testes que envolvam segurança cibernética ou agências governamentais, onde as solicitações, os cenários e os dados podem ser sensíveis. A fonte diz que a abordagem poderia apoiar testes independentes, preservando a soberania e a segurança dos dados. Este é um benefício potencial declarado, não um resultado demonstrado deste piloto.
O significado mais amplo depende de a evidência criptográfica poder estabelecer o que aconteceu dentro do ambiente de avaliação e de as partes externas poderem inspecionar ou validar essa evidência de uma forma significativa. Manter as indicações e os pesos ocultos pode reduzir alguns riscos, mas não mostra por si só que um está bem concebido, que o modelo foi testado de forma abrangente ou que os resultados podem ser generalizados para utilização no mundo real.
O anúncio é, portanto, um desenvolvimento na infra-estrutura de avaliação e não uma nova capacidade de modelo. O seu valor público imediato reside na possibilidade de tornar mais fácil o escrutínio das reivindicações de IA de alto risco. Os seus limites são substanciais: a fonte não oferece resultados de desempenho, nenhuma comparação com avaliações convencionais e ainda não há provas de que o método seja amplamente implementável.
Mecanismo interativo: como realmente funciona
Explore a tecnologia subjacente a este desenvolvimento de forma interativa.
Which component of an AI application is the machine-learning model itself?
O que assistir a seguir
As principais questões não resolvidas são se o piloto funciona de forma confiável em maior escala, quão independente é a verificação, o que o relatório técnico mostrará e se outros desenvolvedores de modelos adotam salvaguardas comparáveis.
O relatório técnico deverá esclarecer o protocolo de avaliação, incluindo quais informações cada participante pode observar, como o ambiente criptográfico está configurado e quais evidências são produzidas para os revisores. Sem esses detalhes, é difícil avaliar quanta confiança o piloto agrega além dos acordos de confidencialidade e controles de registro existentes.
Uma questão fundamental é se o piloto testa apenas uma combinação estreita de modelo e ou se o método pode suportar diferentes arquiteturas de modelos, fornecedores de avaliação e conjuntos de dados sensíveis. A adoção prática dependerá do custo, do desempenho, da compatibilidade com as ferramentas de teste existentes e da capacidade de repetir avaliações em ambientes independentes.
Os observadores também devem procurar informações sobre o próprio índice de referência. Os procedimentos duplo-cegos podem ajudar a proteger as questões do teste, mas não podem resolver problemas como design de tarefas fraco, cobertura incompleta, pontuação ambígua ou incompatibilidade entre o desempenho do e o comportamento na implantação. A fonte não diz como essas questões serão tratadas.
As funções e os mecanismos de supervisão das organizações participantes serão importantes. O anúncio nomeia vários parceiros, mas não explica quem controla a avaliação, quem pode contestar os resultados, se alguma parte publicará uma auditoria ou como serão resolvidas as disputas sobre o funcionamento do sistema.
Finalmente, a resposta da indústria indicará se esta continua a ser uma experiência específica do Google ou se se torna uma prática partilhada. A fonte diz que o piloto se destina a ajudar a indústria em geral a desenvolver sistemas de IA mais seguros e confiáveis, mas não anuncia compromissos de outros desenvolvedores de modelos, reguladores ou organismos de testes independentes. A fonte deixa em aberto essa questão mais ampla da adoção, portanto, qualquer efeito mais amplo na indústria ainda precisa ser determinado.