무슨 일이 일어났나요?
AWS는 기관 지식을 보존하고 검색하기 위한 AI 기반 시스템에 대한 기술 가이드 및 샘플 배포를 게시했습니다. 시스템은 텍스트 및 음성 액세스, 선택적인 아바타 상호 작용, 반복적인 모델 호출을 줄이기 위해 설계된 캐싱을 통해 검색 증강 생성을 사용하여 조직 자체 문서의 질문에 답합니다.
AWS의 게시물은 제도적 또는 "부족" 지식, 즉 숙련된 직원이 떠날 때 접근하기 어려울 수 있는 절차, 정책 및 실무 전문 지식을 보존하기 위한 배포 가능한 프로토타입을 설명합니다. 조직은 Amazon S3에 문서를 업로드합니다. 여기서 Amazon Bedrock Knowledge Base는 문서 청크, 포함 및 검색을 처리합니다. 그런 다음 선택된 기초 모델은 해당 문서에서 검색된 구절을 기반으로 답변을 생성합니다. 시스템은 텍스트와 음성 상호 작용을 지원하는 브라우저 인터페이스를 통해 이러한 답변을 제시하며 구성 가능한 AI 아바타에 연결할 수 있습니다. AWS는 제조, 의료, 금융 서비스, 에너지 및 정부와 같은 환경에 대한 설계를 포지셔닝하지만 지정된 고객의 생산 배포를 해당 게시물에 문서화하지 않습니다.
이 아키텍처는 인증을 위한 Amazon Cognito, 제어된 액세스를 위한 API 게이트웨이, 오케스트레이션을 위한 AWS Lambda, 애플리케이션 파일 및 소스 자료를 위한 Amazon S3, 지식 베이스 뒤의 벡터 저장소인 Amazon OpenSearch Serverless를 결합합니다. Amazon Titan 텍스트 임베딩은 문서 임베딩에 사용됩니다. 게시물에 나열된 선택 가능한 답변 생성 모델은 Amazon Nova Pro 및 Anthropic Claude 3 Sonnet입니다. 음성 입력은 Amazon Transcribe를 사용하여 텍스트로 변환되고, Amazon Polly는 음성 응답을 생성합니다. 아바타 통합은 스트리밍에 WebRTC를 사용하고 제어에 WebSocket을 사용하며 게시물에는 아바타 기술이 DeepBrain AI를 기반으로 한다고 나와 있습니다. 조직은 AWS에 따라 아바타 제공자, 외모, 음성 및 행동을 변경할 수 있습니다.
배포는 IT 또는 DevOps 팀의 일회성 설정부터 시작하여 몇 시간 안에 설치할 수 있다고 AWS가 말하는 CloudFormation 기반 애플리케이션으로 제공됩니다. 사용자는 애플리케이션의 소스 폴더를 S3 버킷에 업로드하고, CloudFormation 스택을 생성하고, 로그인 세부 정보를 구성하고, 결과 프런트엔드 URL을 엽니다. 이 가이드는 us-east-1 지역에 대해 작성되고 테스트되었으며, AWS는 이 지역이 광범위한 기반 모델 및 아바타 스트리밍 가용성을 위해 선택되었다고 말합니다. 다른 곳에 배포하려면 모델 및 아바타 가용성을 확인하고 필요한 경우 하드코딩된 지역을 변경해야 합니다. 이 디자인은 Word, PDF, 일반 텍스트, Markdown 및 JSON 문서를 지원하지만 AWS는 검색 성능을 위해 Markdown 또는 구조화된 JSON을 권장합니다.
캐싱은 프로토타입의 핵심입니다. 브라우저 측 가장 최근에 사용된 캐시는 최근 상호 작용을 저장하는 반면, DynamoDB는 콘텐츠 유형에 따라 달라지는 TTL(Time to Live) 설정을 통해 더 광범위한 응답 결과를 저장합니다. AWS는 반복되는 질문이 많은 워크로드가 테스트에서 50~70%의 캐시 적중률을 달성했다고 보고하지만 실제 절감액은 쿼리 조합에 따라 달라진다는 점을 강조합니다. 구현은 의미론적 유사성이 아닌 정확한 쿼리 텍스트와 일치하므로 동일한 질문에 대해 다르게 표현된 버전은 답변을 재사용하지 못할 수 있습니다. AWS는 또한 새 문서나 변경된 문서가 즉시가 아니라 자동화된 수집 작업이 완료된 후에만 쿼리할 수 있다고 말합니다.
왜 중요한가요?
이 설계는 분산된 절차와 전문가 문서를 대화형 지식 서비스로 전환하는 구체적인 방법을 조직에 제공합니다. 지속적인 비용, 안정적인 연결에 대한 의존성, 제한된 캐시 일치, 수집 지연 및 근거 있는 답변이 여전히 틀릴 수 있는 위험으로 인해 실질적인 가치가 완화되었습니다.
시스템은 실제 운영 문제를 해결합니다. 중요한 지식은 종종 문서, 저장소 및 개별 직원에게 분산되어 있습니다. 자연어 인터페이스를 사용하면 정보가 어디에 저장되어 있는지 모르거나 입력하는 대신 말하기를 선호하는 작업자가 절차를 더 쉽게 찾을 수 있습니다. 음성 액세스는 직원이 손을 사용하여 절차를 검토할 때 유용할 수도 있지만 소스에서는 채택이나 신뢰를 향상시킨다는 것을 입증하는 사용자 연구를 제공하지 않습니다. 여기서 의미 있는 발전은 문서 기반 AI 검색, 음성 처리, 캐싱 및 아바타를 재현 가능한 클라우드 아키텍처에 결합한 것입니다.
조직의 경우 이 샘플은 이러한 구성 요소를 독립적으로 조립하는 데 따른 엔지니어링 부담을 줄여줍니다. AWS는 음성, 아바타 렌더링, 검색 및 캐싱을 갖춘 맞춤형 Bedrock 시스템에는 몇 주에서 몇 달이 걸리고 전문적인 전문 지식이 필요하며 샘플은 인프라 템플릿과 애플리케이션 흐름을 제공한다고 말합니다. 이를 통해 소규모 기술 팀이 실험에 더 쉽게 접근할 수 있습니다. 신뢰할 수 있는 문서 선택, 권한 설정, 보존 관리, 생성된 답변 검토 또는 기존 저장소와의 통합 작업이 제거되지는 않습니다. 가속기가 "생산 품질"이라는 기사의 주장은 공급업체의 특성입니다. 소스는 독립적인 평가나 고객 증거를 제공하지 않습니다.
또한 아키텍처는 엔터프라이즈 AI의 경제성과 거버넌스를 가시화합니다. OpenSearch 서버리스 벡터 저장소는 항상 켜져 있는 최소값을 가지며, AWS에 따르면 변수 추론 및 기타 서비스 요금을 부과하기 전 기본 층에서 매달 미화 수백 달러의 고정 기준 비용을 나타낼 수 있습니다. 캐싱은 반복되는 모델 호출을 줄일 수 있지만 스토리지, 벡터 저장소, 음성, 네트워킹 또는 운영 비용을 제거하지는 않습니다. 보안은 여러 AWS 서비스 전반에 걸쳐 올바르게 구성된 ID 및 액세스 제어에 따라 달라집니다. 지식 기반에는 내부 절차나 민감한 기관 정보가 포함될 수 있으므로 배포에는 신중한 인증, 문서 거버넌스 및 모니터링이 필요합니다. 검색된 문서에 답변을 접지하면 지원되지 않는 응답을 줄일 수 있지만 AWS는 오류를 제거하지 못한다고 명시적으로 말합니다.
대화형 메커니즘: 실제로 작동하는 방식
이 개발의 이면에 있는 기본 기술을 대화식으로 살펴보세요.
A route planner searches possible journeys using explicit rules. What does this illustrate about AI?
다음에 무엇을 볼 것인가
주요 질문은 조직이 자체 워크로드에서 프로토타입을 검증하고, 민감한 지식과 비용을 제어하고, AWS가 향후 또는 권장 개선 사항으로 식별하는 보호 장치를 추가할 수 있는지 여부입니다. 정확성, 대기 시간, 확장성 및 아바타 기반 상호 작용이 채택에 미치는 영향을 확인하려면 독립적인 테스트가 필요합니다.
이 시스템의 첫 번째 테스트는 특히 문서가 충돌하거나 불완전하거나 전문 언어를 사용하는 경우 조직 자체 자료의 정확성입니다. AWS는 출처 인용 표시를 권장하지만 게시물에는 인용 정확도, 답변 정확도 비율, 오답 비율 또는 일반 검색과의 비교가 보고되지 않습니다. 조직은 생성된 답변이 최근 승인된 절차를 충실하게 반영하는지, 시스템에 증거가 부족한 경우 사용자가 인식할 수 있는지 여부를 테스트해야 합니다. 이 게시물에서는 결과가 높거나 안전 관련 결정을 내릴 때 인간이 계속해서 정보를 얻을 것을 권장합니다. 명시적 신뢰도 임계값 및 답변 검증 확인은 구현된 기능이 아닌 권장되는 개선 사항으로 식별됩니다.
AWS의 지표 수치에서 가정하기보다는 운영 성능을 측정해야 합니다. 게시물에서는 기본 설정이 1초 미만의 캐시된 응답으로 대략 50~100명의 동시 사용자를 처리한 반면, 더 높은 할당량은 대략 500~1,000명의 사용자를 지원할 수 있고 동일한 아키텍처는 사전 할당량 증가로 5,000명을 초과할 수 있다고 보고했습니다. 새로운 지식 기반 쿼리에는 약 2~4초가 소요되며 음성 처리에 추가 시간이 소요되는 것으로 알려졌습니다. 이 수치는 지역, 모델, 문서 크기, 캐시 적중률 및 서비스 할당량에 따라 달라집니다. 소스는 테스트 워크로드, 방법론, 오류 막대 또는 독립적인 복제를 제공하지 않으므로 보장이 아닌 계획 추정으로 취급되어야 합니다.
연결성과 정보의 신선도는 중요한 제약입니다. 모든 쿼리는 AWS로의 왕복에 따라 달라지며 아바타에는 안정적이고 대기 시간이 짧으며 합리적인 고대역폭 연결이 필요합니다. AWS는 프로토타입에 오프라인, 에지 또는 저하 모드 기능이 없어 연결이 끊어지거나 간헐적으로 연결되는 산업 환경에 대한 적합성이 제한된다고 말합니다. 문서 수집 파이프라인도 비동기식이며 정확한 텍스트 캐싱은 문구와 기본 상황에 면밀한 검토가 필요한 경우 사전 답변을 제공할 수 있습니다. 향후 작업에는 의미론적 캐시 일치, 오프라인 폴백, 텍스트에 대한 점진적인 저하, 더 강력한 답변 검증 및 더 엄격한 비용 제어가 포함될 것입니다. 소식통은 이러한 향상된 기능이 언제 제공될지 또는 제공될지 여부를 밝히지 않습니다.