A seguirPróximo guia
Chatbots de IA, crianças e leis de segurança online
Sociedade
GUIA DA SOCIEDADE
Os institutos de segurança de IA são órgãos governamentais que testam e estudam modelos avançados de IA.
Eles se concentram em riscos como ataques cibernéticos, uso indevido de produtos químicos e biológicos e perda de controle humano, muitas vezes avaliando modelos antes da divulgação pública. São importantes porque proporcionam aos governos conhecimentos técnicos independentes sobre IA de fronteira, embora a maioria dependa da cooperação voluntária das empresas e não de poderes legais.
O Reino Unido criou o seu AI Safety Institute em novembro de 2023, em torno do Bletchley Park AI Safety Summit. Ela surgiu da Frontier AI Taskforce e se tornou uma das equipes governamentais de avaliação de IA mais bem financiadas, contratando pesquisadores de laboratórios líderes. Em fevereiro de 2025, foi renomeado como AI Security Institute. O novo nome reflectiu um enfoque mais restrito nos danos à segurança nacional, como a utilização indevida da cibersegurança, os riscos químicos e biológicos e a criminalidade, em vez de questões mais amplas, como o preconceito. O US AI Safety Institute foi criado dentro do NIST no final de 2023, após a ordem executiva do presidente Biden sobre IA. Em junho de 2025, o Departamento de Comércio reorganizou-o como Centro de Padrões e Inovação de IA (CAISI). O mandato mudou para padrões voluntários, avaliações relevantes para a segurança nacional e avaliação de sistemas de IA estrangeiros, ao mesmo tempo que abandonou a marca de “segurança”. Japão, Singapura, Canadá, Coreia do Sul, França e outros criaram organismos semelhantes. O Gabinete de IA da UE tem algumas funções paralelas, mas é um regulador. Em novembro de 2024, a Rede Internacional de Institutos de Segurança de IA realizou a sua primeira reunião em São Francisco. Os seus membros fundadores foram a Austrália, o Canadá, a UE, a França, o Japão, o Quénia, a Coreia do Sul, Singapura, o Reino Unido e os EUA. Um equívoco comum é que esses institutos podem bloquear a liberação de modelos. Os órgãos do Reino Unido e dos EUA não têm poder estatutário geral para obrigar o acesso ou impedir a implantação. O seu acesso provém de acordos voluntários e as suas conclusões moldam as decisões políticas e empresariais sem serem vinculativas. O Gabinete de IA da UE é diferente: ao abrigo da Lei da IA, pode solicitar informações a fornecedores de modelos de IA de uso geral com risco sistémico e impor-lhes obrigações.
Os danos catastróficos e diários da IA dependem de quem entende os riscos e de quem pode agir.
A literacia pública e profissional determina se uma política de segurança forte é politicamente possível.
Explicações claras reduzem a captura por exageros, relações públicas de laboratório e teatro de ética vaga.
O papel dos institutos ainda está mudando. Vários passaram de uma ampla investigação em segurança para a segurança nacional, as normas e a competitividade industrial, e as suas prioridades podem continuar a mudar com os governos. As principais questões em aberto são se algum deles obterá poderes estatutários, como o seu trabalho se ligará aos reguladores, como o Gabinete de IA da UE, e se a colaboração internacional se aprofundará ou se dividirá em termos geopolíticos. O seu valor a longo prazo pode depender de métodos de avaliação partilhados e reprodutíveis e de financiamento suficiente para acompanhar os laboratórios de fronteira.
Os institutos do Reino Unido e dos EUA testaram em conjunto um Soneto Claude 3.5 atualizado e o1 do OpenAI antes da implantação e publicaram resumos dos resultados no final de 2024.
O instituto do Reino Unido lançou o Inspect, uma estrutura de código aberto que pesquisadores e outros governos usam para construir e executar avaliações de IA.
Em 2024, o instituto dos EUA assinou acordos com OpenAI e Anthropic que lhe deram acesso a novos modelos importantes antes e depois do lançamento público.
Institutos de vários países realizaram exercícios conjuntos de testes para comparar métodos, por exemplo avaliando o comportamento dos agentes em diferentes idiomas.
Tratar o risco existencial como ficção científica enquanto aumenta a capacidade.
Confundir segurança do produto de superfície com alinhamento sob alta autonomia.
Deixando o público não-inglês e não especializado com apenas fontes de baixa qualidade.
Separe os riscos de danos ao produto, uso indevido e perda de controle/desalinhamento.
Pergunte quais evidências mudariam sua visão sobre prazos e gravidade.
Prefira fontes primárias e avaliações concretas em vez de afirmações de marketing.
Identifique um caminho de ação: carreira, política, financiamento ou habilidades – não apenas conscientização.
Free newsletter
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Os institutos de segurança de IA são órgãos governamentais que testam e estudam modelos avançados de IA. Eles se concentram em riscos como ataques cibernéticos, uso indevido de produtos químicos e biológicos e perda de controle humano, muitas vezes avaliando modelos antes da divulgação pública. São importantes porque proporcionam aos governos conhecimentos técnicos independentes sobre IA de fronteira, embora a maioria dependa da cooperação voluntária das empresas e não de poderes legais.
O novo nome, AI Security Institute, reflecte um enfoque mais restrito nos riscos de segurança nacional, tais como a utilização indevida cibernética, química e biológica e a criminalidade.
O Departamento de Comércio transformou-o em CAISI, que se concentra em padrões, avaliações de segurança nacional e avaliação de sistemas estrangeiros.
A primeira reunião foi realizada em São Francisco em novembro de 2024.
O seu acesso provém de acordos voluntários e as suas conclusões são mais consultivas do que vinculativas.
O Inspect organiza avaliações em conjuntos de dados, solucionadores e pontuadores, e oferece suporte a testes de agentes em sandbox.
Continue aprendendo
Mais guias escolhidos para este tópico
A seguirPróximo guia
Chatbots de IA, crianças e leis de segurança online
Sociedade