GUIA DA SOCIEDADE

Institutos de segurança de IA em todo o mundo

Os institutos de segurança de IA são órgãos governamentais que testam e estudam modelos avançados de IA.

  • 3 minutos de leitura
  • Última atualização
Nesta página3 minutos de leitura
  1. Visão geral
  2. Mergulho profundo
  3. Impacto Estratégico
  4. O futuro dos institutos de segurança de IA em todo o mundo
  5. Implementação no mundo real
  6. Riscos e guarda-corpos
  7. Roteiro de implementação
  8. Continue explorando
  9. Perguntas frequentes

Visão geral

Eles se concentram em riscos como ataques cibernéticos, uso indevido de produtos químicos e biológicos e perda de controle humano, muitas vezes avaliando modelos antes da divulgação pública. São importantes porque proporcionam aos governos conhecimentos técnicos independentes sobre IA de fronteira, embora a maioria dependa da cooperação voluntária das empresas e não de poderes legais.

Mergulho profundo

O Reino Unido criou o seu AI Safety Institute em novembro de 2023, em torno do Bletchley Park AI Safety Summit. Ela surgiu da Frontier AI Taskforce e se tornou uma das equipes governamentais de avaliação de IA mais bem financiadas, contratando pesquisadores de laboratórios líderes. Em fevereiro de 2025, foi renomeado como AI Security Institute. O novo nome reflectiu um enfoque mais restrito nos danos à segurança nacional, como a utilização indevida da cibersegurança, os riscos químicos e biológicos e a criminalidade, em vez de questões mais amplas, como o preconceito. O US AI Safety Institute foi criado dentro do NIST no final de 2023, após a ordem executiva do presidente Biden sobre IA. Em junho de 2025, o Departamento de Comércio reorganizou-o como Centro de Padrões e Inovação de IA (CAISI). O mandato mudou para padrões voluntários, avaliações relevantes para a segurança nacional e avaliação de sistemas de IA estrangeiros, ao mesmo tempo que abandonou a marca de “segurança”. Japão, Singapura, Canadá, Coreia do Sul, França e outros criaram organismos semelhantes. O Gabinete de IA da UE tem algumas funções paralelas, mas é um regulador. Em novembro de 2024, a Rede Internacional de Institutos de Segurança de IA realizou a sua primeira reunião em São Francisco. Os seus membros fundadores foram a Austrália, o Canadá, a UE, a França, o Japão, o Quénia, a Coreia do Sul, Singapura, o Reino Unido e os EUA. Um equívoco comum é que esses institutos podem bloquear a liberação de modelos. Os órgãos do Reino Unido e dos EUA não têm poder estatutário geral para obrigar o acesso ou impedir a implantação. O seu acesso provém de acordos voluntários e as suas conclusões moldam as decisões políticas e empresariais sem serem vinculativas. O Gabinete de IA da UE é diferente: ao abrigo da Lei da IA, pode solicitar informações a fornecedores de modelos de IA de uso geral com risco sistémico e impor-lhes obrigações.

Impacto Estratégico

Risco e segurança

Os danos catastróficos e diários da IA ​​dependem de quem entende os riscos e de quem pode agir.

Decisões mais claras

A literacia pública e profissional determina se uma política de segurança forte é politicamente possível.

Cortando o hype

Explicações claras reduzem a captura por exageros, relações públicas de laboratório e teatro de ética vaga.

O futuro dos institutos de segurança de IA em todo o mundo

O papel dos institutos ainda está mudando. Vários passaram de uma ampla investigação em segurança para a segurança nacional, as normas e a competitividade industrial, e as suas prioridades podem continuar a mudar com os governos. As principais questões em aberto são se algum deles obterá poderes estatutários, como o seu trabalho se ligará aos reguladores, como o Gabinete de IA da UE, e se a colaboração internacional se aprofundará ou se dividirá em termos geopolíticos. O seu valor a longo prazo pode depender de métodos de avaliação partilhados e reprodutíveis e de financiamento suficiente para acompanhar os laboratórios de fronteira.

Implementação no mundo real

Os institutos do Reino Unido e dos EUA testaram em conjunto um Soneto Claude 3.5 atualizado e o1 do OpenAI antes da implantação e publicaram resumos dos resultados no final de 2024.

O instituto do Reino Unido lançou o Inspect, uma estrutura de código aberto que pesquisadores e outros governos usam para construir e executar avaliações de IA.

Em 2024, o instituto dos EUA assinou acordos com OpenAI e Anthropic que lhe deram acesso a novos modelos importantes antes e depois do lançamento público.

Institutos de vários países realizaram exercícios conjuntos de testes para comparar métodos, por exemplo avaliando o comportamento dos agentes em diferentes idiomas.

Riscos e guarda-corpos

  • Tratar o risco existencial como ficção científica enquanto aumenta a capacidade.

  • Confundir segurança do produto de superfície com alinhamento sob alta autonomia.

  • Deixando o público não-inglês e não especializado com apenas fontes de baixa qualidade.

Roteiro de implementação

  1. Separe os riscos de danos ao produto, uso indevido e perda de controle/desalinhamento.

  2. Pergunte quais evidências mudariam sua visão sobre prazos e gravidade.

  3. Prefira fontes primárias e avaliações concretas em vez de afirmações de marketing.

  4. Identifique um caminho de ação: carreira, política, financiamento ou habilidades – não apenas conscientização.

Continue explorando

Free newsletter

Get the daily AI briefing

Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.

One email each weekday. Unsubscribe in one click. We never sell or share your address.

Test yourself

Take the AI Safety Institutes Around the World quiz

Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.

Iniciar teste

Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation

Perguntas frequentes

O que são os institutos de segurança de IA em todo o mundo?

Os institutos de segurança de IA são órgãos governamentais que testam e estudam modelos avançados de IA. Eles se concentram em riscos como ataques cibernéticos, uso indevido de produtos químicos e biológicos e perda de controle humano, muitas vezes avaliando modelos antes da divulgação pública. São importantes porque proporcionam aos governos conhecimentos técnicos independentes sobre IA de fronteira, embora a maioria dependa da cooperação voluntária das empresas e não de poderes legais.

Qual foi o nome do UK AI Safety Institute em fevereiro de 2025?

O novo nome, AI Security Institute, reflecte um enfoque mais restrito nos riscos de segurança nacional, tais como a utilização indevida cibernética, química e biológica e a criminalidade.

O US AI Safety Institute foi reorganizado em qual órgão em 2025?

O Departamento de Comércio transformou-o em CAISI, que se concentra em padrões, avaliações de segurança nacional e avaliação de sistemas estrangeiros.

Onde a Rede Internacional de Institutos de Segurança de IA realizou sua primeira reunião?

A primeira reunião foi realizada em São Francisco em novembro de 2024.

Que poder legal os institutos do Reino Unido e dos EUA geralmente têm sobre a liberação de modelos?

O seu acesso provém de acordos voluntários e as suas conclusões são mais consultivas do que vinculativas.

O que é inspecionar?

O Inspect organiza avaliações em conjuntos de dados, solucionadores e pontuadores, e oferece suporte a testes de agentes em sandbox.