AI 관찰 가능성

요청과 검색, 모델 호출, 도구, 최종 결과와 연결됩니다. 생성된 설명을 신뢰할 수 있는 내부 계산 흔적으로 취급하지 않고 실제 행동을 조사하는 것이 목표입니다.

주요 시사점

• 메트릭, 트레이스, 이벤트를 연결하세요.
• 작업 결과와 가동 시간을 측정하세요.
• 기록된 콘텐츠를 최소화하고 보호하세요.

보완적인 신호를 사용하세요. 지표는 지연 시간, 오류율, 자원 사용 등의 패턴을 보여줍니다. 트레이스는 요청의 단계를 연결합니다. 로그는 실패나 결정을 설명하는 이벤트를 설명합니다. 안정적인 요청 및 버전 식별자는 이 신호들을 함께 더 유용하게 만듭니다. 가능한 경우 작업 수준 측정을 추가하세요. 기술적으로 성공한 모델 호출도 지원되지 않는 정보를 반환하거나 요청된 작업을 완료하지 못할 수 있습니다. 증거 커버리지, 검증 실패, 에스컬레이션, 검증된 결과 및 전송 상태 등을 추적합니다. 텔레메트리에서 민감한 콘텐츠를 보호합니다. 모든 프롬프트와 응답을 기록하면 새로운 개인 데이터 저장소를 생성할 수 있습니다. 진단 목적에 필요한 최소한의 정보를 수집하고, 접근 및 보존 통제를 적용하며, 동일한 필요에 부합하는 경우에는 편집되거나 집계된 정보를 선호합니다. 알림을 실행 가능하게 만드세요. 소유자, 관련 임계값, 진단 맥락, 복구 절차를 식별하세요. 결정으로 이어지지 않는 잡음 많은 이벤트를 피하세요. 예상 신호에서 고의로 유도된 고장이 나타나고, 조작자가 이를 영향을 받은 해제 지점에서 추적할 수 있는지 테스트합니다.

1. 사용자가 느린 답변을 보고하는 반면 모델 생성 시간은 변하지 않는다고 상상해 보세요.
2. 요청 추적을 보면 문서 검색 시간이 인덱스 변경 후 100ms에서 2초로 증가했습니다.
3. 그 의존성을 조사하고 증거 없이 모델을 교체하기보다는 새로운 흔적을 통해 회복을 확인하세요.

발명된 타이밍은 연결된 측정값의 가치를 보여줍니다.