Какво стана
AWS публикува техническо ръководство и примерно внедряване за захранвана с AI система, предназначена да съхранява и извлича институционални знания. Системата използва генериране с разширено извличане, за да отговори на въпроси от собствените документи на организацията, с текстов и гласов достъп, незадължително взаимодействие с аватар и кеширане, предназначени да намалят повтарящите се извиквания на модела.
Публикацията на AWS описва прототип за внедряване за запазване на това, което нарича институционално или „племенно“ знание: процедури, политики и практически опит, които могат да станат трудни за достъп, когато опитни служители напуснат. Организациите качват документи в Amazon S3, където Amazon Bedrock Knowledge Bases обработва групирането, вграждането и извличането на документи. След това избран модел на основа генерира отговори, основани на пасажи, извлечени от тези документи. Системата представя тези отговори чрез интерфейс на браузър, който поддържа текстово и гласово взаимодействие, и може да се свърже с конфигурируем AI аватар. AWS позиционира дизайна за настройки като производство, здравеопазване, финансови услуги, енергетика и правителство, но публикацията не документира внедряване на производство от нито един назован клиент.
Архитектурата съчетава Amazon Cognito за удостоверяване, API Gateway за контролиран достъп, AWS Lambda за оркестрация, Amazon S3 за файлове на приложения и изходен материал и Amazon OpenSearch Serverless като векторно хранилище зад базата знания. Amazon Titan Text Embeddings се използва за вграждане на документи. Избираемите модели за генериране на отговори, изброени в публикацията, са Amazon Nova Pro и Anthropic Claude 3 Sonnet. Гласовото въвеждане се преобразува в текст с Amazon Transcribe, докато Amazon Polly произвежда устни отговори. Интеграцията на аватара използва WebRTC за стрийминг и WebSockets за контрол, а публикацията казва, че технологията за аватар е базирана на DeepBrain AI. Организациите могат да променят доставчика на аватар, външния вид, гласа и поведението, според AWS.
Внедряването се предоставя като приложение, базирано на CloudFormation, което според AWS може да бъде инсталирано за часове, като се започне с еднократна настройка от ИТ или DevOps екип. Потребителите качват изходните папки на приложението в кофа S3, създават стек CloudFormation, конфигурират данните за вход и отварят получения URL адрес на интерфейса. Ръководството е написано и тествано за региона us-east-1, за който AWS казва, че е избран за широка наличност на основен модел и стрийминг на аватар. Внедряването на други места изисква проверка на наличността на модела и аватара и промяна на твърдо кодирания регион, където е необходимо. Дизайнът поддържа Word, PDF, обикновен текст, Markdown и JSON документи, въпреки че AWS препоръчва Markdown или структуриран JSON за производителност при извличане.
Кеширането е централно за прототипа. Най-малко използваният наскоро кеш от страна на браузъра съхранява скорошни взаимодействия, докато DynamoDB съхранява по-широки резултати с отговори с настройки за време на живот, които варират според типа съдържание. AWS съобщава, че работните натоварвания с много повтарящи се въпроси са постигнали нива на попадение в кеша от 50–70 процента при тестването, но подчертава, че действителните спестявания зависят от микса на заявките. Внедряването съответства на точния текст на заявката, а не на семантичното сходство, така че различно формулираните версии на един и същи въпрос може да не използват повторно отговор. AWS също така казва, че новите или променени документи стават достъпни за запитване само след приключване на автоматизирана задача за поглъщане, а не веднага.
Детайли за източника: aws.amazon.com ↗
Защо има значение
Дизайнът предлага на организациите конкретен начин да превърнат разпръснатите процедури и експертна документация в разговорна услуга за знания. Неговата практическа стойност се смекчава от продължаващите разходи, зависимостта от надеждна свързаност, ограниченото съпоставяне на кеша, закъсненията при приемане и риска, че обоснованите отговори все още могат да бъдат грешни.
Системата адресира реален оперативен проблем: важно знание често се разпространява в документи, хранилища и отделни служители. Интерфейс на естествен език може да направи процедурите по-лесни за намиране за работници, които не знаят къде се съхранява информацията или които предпочитат да говорят вместо да пишат. Гласовият достъп също може да бъде полезен, когато работниците преглеждат процедури със заети ръце, въпреки че източникът не предоставя потребителски проучвания, показващи, че подобрява приемането или доверието. Значимото развитие тук е комбинацията от базирано на документи AI извличане, обработка на глас, кеширане и аватар в възпроизводима облачна архитектура.
За организациите извадката намалява инженерната тежест за самостоятелното сглобяване на тези компоненти. AWS казва, че персонализирана система Bedrock с глас, изобразяване на аватар, извличане и кеширане ще изисква седмици до месеци и специализиран опит, докато извадката предоставя инфраструктурни шаблони и поток от приложения. Това може да направи експериментирането по-достъпно за по-малки технически екипи. Това не елиминира работата по избор на достоверни документи, задаване на разрешения, управление на запазването, преглед на генерирани отговори или интегриране със съществуващи хранилища. Твърдението в статията, че ускорителят е „качество на продукцията“ е характеристика на доставчика; източникът не предоставя независима оценка или клиентско доказателство.
Архитектурата също така прави видими икономиката и управлението на корпоративния AI. Векторното хранилище OpenSearch без сървър има винаги включен минимум и, според AWS, може да представлява фиксирана базова цена от няколкостотин щатски долара на месец на прага по подразбиране, преди променливи изводи и други такси за услуги. Кеширането може да намали повтарящите се извиквания на модели, но не премахва разходите за съхранение, векторно съхранение, реч, мрежови или оперативни разходи. Сигурността зависи от правилно конфигурираните контроли за идентичност и достъп в няколко AWS услуги. Тъй като базата от знания може да съдържа вътрешни процедури или чувствителна институционална информация, внедряването изисква внимателно оторизиране, управление на документи и наблюдение. Заземяването на отговорите в извлечените документи може да намали неподдържаните отговори, но AWS изрично казва, че не елиминира грешките.
Интерактивен механизъм: как всъщност работи
Разгледайте интерактивно основната технология зад тази разработка.
A route planner searches possible journeys using explicit rules. What does this illustrate about AI?
Какво да гледате след това
Основните въпроси са дали организациите могат да валидират прототипа при собствените си работни натоварвания, да контролират чувствителни знания и разходи и да добавят предпазни мерки, които AWS идентифицира като бъдещи или препоръчани подобрения. Необходими са независими тестове, за да се установи точността, латентността, мащабируемостта и ефектът от взаимодействието, базирано на аватар, върху осиновяването.
Първият тест за тази система е точността на собствения материал на организацията, особено когато документите са в конфликт, непълни са или използват специализиран език. AWS препоръчва показване на цитати на източници, но публикацията не отчита точност на цитирането, проценти на точност на отговорите, проценти на грешни отговори или сравнения с обикновено търсене. Организациите трябва да тестват дали генерираните отговори отразяват вярно последната одобрена процедура и дали потребителите могат да разпознаят, когато системата няма доказателства. Публикацията препоръчва да държите човек в течение за решения с големи последствия или свързани с безопасността. Изричните прагове на доверие и проверките за потвърждение на отговора се идентифицират като препоръчителни подобрения, а не като внедрени функции.
Оперативната ефективност ще трябва да се измерва, а не да се приема от индикативните цифри на AWS. Публикацията съобщава, че настройката по подразбиране обработва приблизително 50 до 100 едновременни потребители с кеширани отговори за под секунди, докато по-високите квоти могат да поддържат приблизително 500 до 1000 потребители и същата архитектура може да надхвърли 5000 с проактивни увеличения на квотите. Съобщава се, че новите заявки към базата знания са отнели около две до четири секунди с допълнително време за гласова обработка. Тези цифри зависят от региона, модела, размера на документа, честотата на попадение в кеша и квотите за услуги. Източникът не предоставя тестови работни натоварвания, методология, ленти за грешки или независима репликация, така че те трябва да се третират като прогнози за планиране, а не като гаранции.
Свързаността и актуалността на информацията са значителни ограничения. Всяка заявка зависи от двупосочно пътуване до AWS, а аватарът изисква стабилна свързаност с ниска латентност и сравнително висока честотна лента. AWS казва, че прототипът няма възможност за офлайн, периферен или влошен режим, което ограничава неговата пригодност за индустриални среди с прекъсване на връзката или свързване с прекъсвания. Конвейерът за поглъщане на документи също е асинхронен и кеширането на точен текст може да служи като предварителен отговор, когато формулировката и основните обстоятелства изискват по-внимателен преглед. Бъдещата работа ще включва съпоставяне на семантичен кеш, офлайн резервен вариант, елегантно деградиране към текст, по-силно валидиране на отговорите и по-строг контрол на разходите. Източникът не казва кога или дали тези подобрения ще бъдат доставени.