AI 보안

개인 입력, 교육 데이터, 모델 아티팩트, 자격 증명, 연결된 계정, 외부 작업 등 보호가 필요한 항목을 식별합니다. 각 입력에 영향을 미칠 수 있는 사람과 공격자가 실패를 통해 얻을 수 있는 것이 무엇인지 기록합니다. 공개 챗봇과 쓰기 권한이 있는 내부 에이전트는 위협 모델이 다릅니다. 위협은 다양한 단계에 영향을 미칠 수 있습니다. 중독된 훈련 자료는 학습된 행동을 바꿀 수 있습니다. 적대적인 입력은 예측을 조작할 수 있습니다. 신뢰할 수 없는 검색 콘텐츠는 도구를 사용하는 애플리케이션을 리디렉션할 수 있습니다. 적절한 처리 없이 데이터베이스 쿼리, 웹 페이지 또는 명령에 모델 출력을 삽입하면 모델 출력이 위험해질 수도 있습니다. 소프트웨어 경계에 컨트롤을 적용합니다. 코드에서 인증을 시행하고, 가능한 경우 모델에 표시되는 컨텍스트에서 비밀을 유지하고, 도구 범위를 제한하고, 사용하기 전에 출력의 유효성을 검사합니다. 모델이 안전하게 작동하도록 요청하는 메시지는 계정 격리 또는 권한 확인을 대체할 수 없습니다. 승인된 환경에서 대표적인 장애 경로를 테스트하고 사고 프로세스를 유지합니다. 불필요하고 민감한 콘텐츠를 수집하지 않고 조사할 수 있도록 충분한 정보를 기록하세요. 모델, 검색 소스, 도구 및 종속성을 변경한 후 컨트롤을 평가합니다. 잔여 위험을 솔직하게 설명하십시오. 단일 필터는 완전한 보호를 설정하지 않습니다.