헌법 AI
헌법 AI는 서면 원칙('헌법')을 사용하여 모델을 정렬하는 Anthropic의 방법이므로 AI는 유해한 콘텐츠에 라벨을 지정하기 위해 인간에게만 의존하는 대신 자체 답변을 비판하고 수정합니다.
개요
It aims to make models helpful and harmless with far less human labor.
심층 분석
전통적인 정렬은 사람들이 방해가 되는 결과를 포함하여 많은 모델 출력의 순위를 지정하여 피해야 할 사항을 모델에 가르치는 인간 피드백(RLHF)을 통한 강화 학습에 의존합니다. 헌법 AI는 UN 인권 선언 및 신뢰와 안전 모범 사례와 같은 출처에서 가져온 서면 원칙의 명시적인 목록을 모델에 제공함으로써 이러한 부담을 줄입니다. 훈련에는 두 단계가 있습니다. 첫째, 감독 단계입니다. 모델은 반응을 생성한 다음 헌법 원칙에 대해 비판하고 더 나은 것으로 다시 작성합니다. 이러한 자체 개선 답변은 이를 미세 조정하는 데 사용됩니다. 둘째, 강화 학습 단계인 RLAIF에서는 모델 자체가 구성에 따라 응답 쌍의 순위를 매기고 AI가 생성한 선호도 데이터가 보상 모델을 훈련합니다. 원칙은 투명하고 편집 가능하므로 불투명한 인간 라벨 안에 숨겨진 값이 아니라 모델을 조종하는 값을 검사할 수 있습니다.
기술적 통찰력
두 단계는 종종 SL-CAI 및 RL-CAI라고 합니다. 지도 학습에서 '비판 및 수정' 루프는 모델이 자체 답변이 샘플링된 원칙을 위반하는 위치를 찾아 다시 작성하여 사람이 유해 라벨을 지정하지 않고 교육 데이터를 생성하도록 유도합니다. RL 단계에서 두 번째 모델은 두 가지 응답 중 어느 것이 구성을 더 잘 따르는지 판단하여 표준 RL에 사용되는 보상 모델을 훈련시키는 AI 선호 라벨(RLAIF)을 생성합니다. 구성은 프롬프트에 삽입된 일반 텍스트 지침이므로 모델의 동작을 변경하는 것은 원칙을 편집하는 것만큼 직접적일 수 있습니다.
전략적 영향
속도와 규모
일관성을 유지하면서 언어 워크플로를 더 빠르게 진행할 수 있습니다.
접근 및 도달
언어와 의사소통 스타일 전반에 걸쳐 접근성을 확장합니다.
더 명확한 결정들
자동화가 반복을 처리하는 동안 팀은 판단에 더 많은 시간을 할애할 수 있습니다.
헌법 AI의 미래
헌법적 AI는 모델이 인간이 모든 결과를 확인할 수 없을 정도로 커짐에 따라 AI가 AI를 감독하는 데 도움이 되는 '확장 가능한 감독'을 가리킵니다. 더 풍부하고 미묘한 헌법, 원칙이 선택되는 공개 및 참여 의견(Anthropic은 '집단 헌법 AI' 실험을 실행함), 인간 피드백과 AI 자기 비판을 혼합한 하이브리드 접근 방식을 기대합니다. 서면 원칙의 투명성은 시스템이 인코딩하는 가치를 확인하려는 규제 기관 및 감사자에게 매력적입니다. 프론티어 모델이 발전함에 따라 모델이 명시적인 규칙에 대해 안정적으로 비판하고 스스로를 개선할 수 있는 방법이 안전의 핵심이 될 가능성이 높습니다.
실제 구현
피해 방지 원칙에 대해 자체 초안 답변을 비판하고 다시 작성함으로써 무기 제작을 거부하도록 챗봇을 훈련시킵니다.
비용이 많이 드는 독성 출력에 대한 인간 레드팀 라벨링을 헌법에 따라 AI 생성 선호도 데이터(RLAIF)로 대체
모델이 얼마나 신중한지 조정하기 위해 서면 원칙을 편집한 다음 수천 개의 사례에 레이블을 다시 지정하지 않고 동작 변화를 관찰합니다.
대중이 모델 구성을 형성하는 원칙을 제안하는 집단 입력 연습 실행
위험 및 가드레일
환각 사실은 보고서, 지원 흐름 또는 연구 결과에 조용히 포함될 수 있습니다.
신속한 민감도는 유사한 요청 간에 일관되지 않은 결과를 초래할 수 있습니다.
액세스 제어가 약한 경우 민감한 텍스트 데이터가 노출될 수 있습니다.
구현 로드맵
출시 전에 출력 형식, 톤, 품질 표준을 정의하세요.
정확성이 중요할 때마다 신뢰할 수 있는 출처를 통해 대응하세요.
고위험 결과물에 대한 인적 검토 체크포인트를 유지합니다.
실패 패턴을 추적하고 프롬프트나 워크플로를 정기적으로 재교육하세요.
계속 탐색하세요
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Constitutional AI quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
다음 가이드
명령어 튜닝
자주 묻는 질문
What is Constitutional AI?
헌법 AI는 서면 원칙('헌법')을 사용하여 모델을 정렬하는 Anthropic의 방법이므로 AI는 유해한 콘텐츠에 라벨을 지정하기 위해 인간에게만 의존하는 대신 자체 답변을 비판하고 수정합니다. 훨씬 적은 인력으로 모델을 유용하고 무해하게 만드는 것이 목표입니다.
헌법AI에서 '헌법'은 무엇인가?
헌법은 인권 문서와 같은 출처에서 가져온 투명한 서면 원칙 세트로, 모델이 답변을 평가하고 개선하는 데 사용합니다.
Constitutional AI는 표준 RLHF의 어떤 주요 문제를 줄이는 것을 목표로 합니까?
모델이 원칙에 대해 자체적으로 비판하도록 함으로써 Constitutional AI는 혼란스럽거나 유해한 결과를 검토하고 라벨을 지정하는 인간의 노동을 줄입니다.
Constitutional AI의 감독 단계에서 모델은 자체 출력에 대해 무엇을 합니까?
모델은 비판 및 수정 루프를 실행합니다. 초안이 샘플링된 원칙을 위반하는 위치를 식별한 다음 답변을 다시 작성하여 자체 개선된 학습 데이터를 생성합니다.
강화 학습 단계에서 RLAIF는 무엇을 의미합니까?
RLAIF는 AI 피드백을 통한 강화 학습을 의미합니다. 모델은 헌법에 따라 응답의 순위를 매기고 인간 레이블 대신 AI가 생성한 선호도 데이터를 생성합니다.
서면 원칙을 사용하는 것이 투명성의 이점으로 간주되는 이유는 무엇입니까?
지침 값은 기록되므로 흩어져 있는 사람 평가에 암시적으로 인코딩된 기본 설정과 달리 직접 검사, 감사 및 편집할 수 있습니다.