IA Constitucional
A IA constitucional é o método de Anthropic para alinhar modelos usando um conjunto escrito de princípios — uma “constituição” — de modo que a IA critica e revisa suas próprias respostas em vez de confiar apenas em humanos para rotular conteúdo prejudicial.
Visão geral
It aims to make models helpful and harmless with far less human labor.
Mergulho profundo
O alinhamento tradicional baseia-se na aprendizagem por reforço a partir do feedback humano (RLHF), onde as pessoas classificam muitos resultados do modelo, incluindo os perturbadores, para ensinar ao modelo o que deve ser evitado. A IA constitucional reduz esse fardo ao fornecer ao modelo uma lista explícita de princípios escritos extraídos de fontes como a Declaração dos Direitos Humanos da ONU e as melhores práticas de confiança e segurança. O treinamento tem duas etapas. Primeiro, uma fase supervisionada: o modelo gera uma resposta, depois critica-a contra um princípio constitucional e reescreve-a para ser melhor; essas respostas autoaperfeiçoadas são usadas para ajustá-lo. Em segundo lugar, um estágio de aprendizagem por reforço, RLAIF, onde o próprio modelo classifica pares de respostas de acordo com a constituição, e os dados de preferência gerados por IA treinam um modelo de recompensa. Os princípios são transparentes e editáveis, tornando os valores que orientam o modelo inspecionáveis, em vez de ocultos em rótulos humanos opacos.
Visão Técnica
As duas fases são frequentemente chamadas de SL-CAI e RL-CAI. Na aprendizagem supervisionada, um ciclo de “crítica e revisão” leva o modelo a descobrir onde a sua própria resposta viola um princípio amostrado e a reescrevê-lo, gerando dados de treino sem rotulagem de danos humanos. Na fase RL, um segundo modelo julga qual das duas respostas segue melhor a constituição, produzindo rótulos de preferência de IA (RLAIF) que treinam um modelo de recompensa usado no RL padrão. A constituição é uma orientação em texto simples injetada em prompts, portanto, mudar o comportamento do modelo pode ser tão direto quanto editar os princípios.
Impacto Estratégico
Velocidade e escala
Os fluxos de trabalho de idiomas podem avançar mais rapidamente sem sacrificar a consistência.
Acesso e alcance
Ele expande o acesso entre idiomas e estilos de comunicação.
Decisões mais claras
As equipes podem gastar mais tempo julgando enquanto a automação cuida da repetição.
O futuro da IA constitucional
A IA constitucional aponta para uma “supervisão escalável”, onde a IA ajuda a supervisionar a IA à medida que os modelos se tornam demasiado capazes para que os humanos possam verificar cada resultado. Espere constituições mais ricas e diferenciadas, contribuições públicas e participativas nas quais os princípios são escolhidos (Anthropic realizou experimentos de 'IA constitucional coletiva') e abordagens híbridas que combinam feedback humano com autocrítica da IA. A transparência dos princípios escritos torna isto atraente para reguladores e auditores que desejam ver os valores que um sistema codifica. À medida que os modelos de fronteira avançam, os métodos que permitem aos modelos criticar e melhorar de forma fiável face a regras explícitas tornar-se-ão provavelmente fundamentais para a segurança.
Implementação no mundo real
Treinar um chatbot para se recusar a ajudar a construir uma arma, fazendo-o criticar seu próprio rascunho de resposta contra um princípio de prevenção de danos e reescrevê-lo
Substituir a dispendiosa rotulagem humana de produtos tóxicos por dados de preferência gerados por IA (RLAIF) orientados pela constituição
Editar um princípio escrito para ajustar o quão cauteloso é um modelo e, em seguida, observar a mudança de comportamento sem renomear milhares de exemplos
Realização de exercícios de contribuição coletiva onde o público propõe princípios que moldam a constituição do modelo
Riscos e guarda-corpos
Fatos alucinados podem entrar silenciosamente em relatórios, fluxos de apoio ou resultados de pesquisas.
A sensibilidade do prompt pode criar resultados inconsistentes em solicitações semelhantes.
Dados de texto confidenciais podem ser expostos se os controles de acesso forem fracos.
Roteiro de implementação
Defina o formato de saída, o tom e os padrões de qualidade antes da implementação.
Respostas terrestres com fontes confiáveis sempre que a precisão for importante.
Mantenha um ponto de verificação de revisão humana para resultados de alto risco.
Rastreie padrões de falha e treine novamente prompts ou fluxos de trabalho regularmente.
Continue explorando
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Constitutional AI quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Próximo guia
Ajuste de instrução
Perguntas frequentes
What is Constitutional AI?
A IA constitucional é o método de Anthropic para alinhar modelos usando um conjunto escrito de princípios — uma “constituição” — de modo que a IA critica e revisa suas próprias respostas em vez de confiar apenas em humanos para rotular conteúdo prejudicial. O objetivo é tornar os modelos úteis e inofensivos com muito menos trabalho humano.
Qual é a 'constituição' na IA Constitucional?
A constituição é um conjunto transparente de princípios escritos, extraídos de fontes como documentos de direitos humanos, que o modelo utiliza para avaliar e melhorar as suas respostas.
Que problema principal com o RLHF padrão a IA Constitucional pretende reduzir?
Ao fazer com que o modelo se critique contra os princípios, a IA Constitucional reduz o trabalho humano de rever e rotular resultados perturbadores ou prejudiciais.
Na fase supervisionada da IA Constitucional, o que o modelo faz com o seu próprio resultado?
O modelo executa um ciclo de crítica e revisão: ele identifica onde seu rascunho viola um princípio amostrado e, em seguida, reescreve a resposta, criando dados de treinamento autoaperfeiçoados.
O que significa RLAIF na fase de aprendizagem por reforço?
RLAIF significa Aprendizado por Reforço com Feedback de IA: um modelo classifica as respostas de acordo com a constituição, produzindo dados de preferência gerados por IA em vez de rótulos humanos.
Porque é que a utilização de princípios escritos é considerada uma vantagem para a transparência?
Como os valores orientadores são escritos, eles podem ser inspecionados, auditados e editados diretamente, ao contrário das preferências implicitamente codificadas em classificações humanas dispersas.