Ne oldu?
AWS, kurumsal bilgiyi korumayı ve geri almayı amaçlayan yapay zeka destekli bir sistem için bir teknik kılavuz ve örnek dağıtım yayınladı. Sistem, bir kuruluşun kendi belgelerinden soruları yanıtlamak için, metin ve ses erişimi, isteğe bağlı avatar etkileşimi ve tekrarlanan model çağrılarını azaltmak üzere tasarlanmış önbelleğe alma ile, alma-artırılmış oluşturma özelliğini kullanır.
AWS'nin gönderisi, kurumsal veya "kabilesel" bilgi olarak adlandırdığı bilgileri korumaya yönelik konuşlandırılabilir bir prototipi anlatıyor: deneyimli çalışanlar ayrıldığında erişilmesi zor hale gelebilecek prosedürler, politikalar ve pratik uzmanlık. Kuruluşlar belgeleri Amazon S3'e yükler; burada Amazon Bedrock Bilgi Tabanları belge parçalama, yerleştirme ve alma işlemlerini gerçekleştirir. Seçilen bir temel modeli daha sonra bu belgelerden alınan pasajlara dayanan yanıtlar üretir. Sistem, bu yanıtları metin ve ses etkileşimini destekleyen bir tarayıcı arayüzü aracılığıyla sunuyor ve yapılandırılabilir bir yapay zeka avatarına bağlanabiliyor. AWS, tasarımı üretim, sağlık hizmetleri, finansal hizmetler, enerji ve kamu gibi ortamlara göre konumlandırıyor ancak gönderi, adı geçen herhangi bir müşterinin üretim dağıtımını belgelemiyor.
Mimari, kimlik doğrulama için Amazon Cognito'yu, kontrollü erişim için API Ağ Geçidini, orkestrasyon için AWS Lambda'yı, uygulama dosyaları ve kaynak materyal için Amazon S3'ü ve bilgi tabanının arkasındaki vektör deposu olarak Amazon OpenSearch Serverless'ı birleştirir. Amazon Titan Metin Gömmeleri belge gömmeleri için kullanılır. Gönderide listelenen seçilebilir yanıt oluşturma modelleri Amazon Nova Pro ve Anthropic Claude 3 Sonnet'tir. Amazon Transcribe ile ses girişi metne dönüştürülürken Amazon Polly sesli yanıtlar üretir. Avatar entegrasyonu, akış için WebRTC'yi ve kontrol için WebSockets'i kullanıyor ve gönderi, avatar teknolojisinin DeepBrain AI'ya dayandığını söylüyor. AWS'ye göre kuruluşlar avatar sağlayıcısını, görünümünü, sesini ve davranışını değiştirebilir.
Dağıtım, AWS'nin bir BT veya DevOps ekibi tarafından tek seferlik kurulumla başlayarak birkaç saat içinde yüklenebileceğini söylediği CloudFormation tabanlı bir uygulama olarak sağlanıyor. Kullanıcılar uygulamanın kaynak klasörlerini bir S3 klasörüne yükler, bir CloudFormation yığını oluşturur, oturum açma ayrıntılarını yapılandırır ve ortaya çıkan ön uç URL'sini açar. Kılavuz, AWS'nin geniş temel modeli ve avatar akışı kullanılabilirliği nedeniyle seçildiğini söylediği ABD-Doğu-1 Bölgesi için yazılmış ve test edilmiştir. Başka yerlerdeki dağıtımlar, modelin ve avatarın kullanılabilirliğinin kontrol edilmesini ve gerektiğinde sabit kodlu Bölgenin değiştirilmesini gerektirir. Tasarım Word, PDF, düz metin, Markdown ve JSON belgelerini destekler, ancak AWS, alma performansı için Markdown'u veya yapılandırılmış JSON'u önerir.
Önbelleğe alma prototipin merkezinde yer alır. Tarayıcı tarafındaki en az kullanılan önbellek, en son etkileşimleri depolarken DynamoDB, içerik türüne göre değişen yaşam süresi ayarlarıyla daha geniş yanıt sonuçlarını depolar. AWS, çok sayıda tekrarlanan soru içeren iş yüklerinin testlerinde yüzde 50-70'lik önbellek isabet oranlarına ulaştığını bildiriyor ancak gerçek tasarrufların sorgu karışımına bağlı olduğunu vurguluyor. Uygulama, anlamsal benzerlik yerine tam olarak sorgu metniyle eşleşir, dolayısıyla aynı sorunun farklı ifadelerle ifade edilen versiyonları bir yanıtı yeniden kullanamayabilir. AWS ayrıca yeni veya değiştirilmiş belgelerin hemen sorgulanabilir hale gelmek yerine yalnızca otomatik alım işi tamamlandıktan sonra sorgulanabilir hale geldiğini söylüyor.
Kaynak ayrıntıları: aws.amazon.com ↗
Neden önemli?
Tasarım, kuruluşlara dağınık prosedürleri ve uzman belgelerini karşılıklı konuşmaya dayalı bir bilgi hizmetine dönüştürmenin somut bir yolunu sunuyor. Devam eden maliyetler, güvenilir bağlantıya bağımlılık, sınırlı önbellek eşleştirmesi, alım gecikmeleri ve temel yanıtların hâlâ yanlış olma riski nedeniyle pratik değeri azalıyor.
Sistem gerçek bir operasyonel sorunu ele alıyor: Önemli bilgiler genellikle belgelere, depolara ve bireysel çalışanlara yayılıyor. Doğal dilli bir arayüz, bilgilerin nerede saklandığını bilmeyen veya yazmak yerine konuşmayı tercih eden çalışanlar için prosedürlerin bulunmasını kolaylaştırabilir. Kaynak, benimsenmeyi veya güveni artırdığını gösteren kullanıcı çalışmaları sunmasa da, çalışanlar elleri meşgulken prosedürleri gözden geçirirken de sesli erişim yararlı olabilir. Buradaki anlamlı gelişme, belgeye dayalı yapay zeka erişimi, ses işleme, önbelleğe alma ve avatar özelliklerinin tekrarlanabilir bir bulut mimarisinde birleşimidir.
Kuruluşlar için numune, bu bileşenlerin bağımsız olarak bir araya getirilmesinin mühendislik yükünü azaltır. AWS, ses, avatar oluşturma, alma ve önbelleğe alma özelliklerine sahip özel bir Bedrock sisteminin haftalar, aylar ve özel uzmanlık gerektireceğini, örneğin ise altyapı şablonları ve uygulama akışı sağladığını söylüyor. Bu, deneyleri daha küçük teknik ekipler için daha erişilebilir hale getirebilir. Yetkili belgeleri seçme, izinleri ayarlama, saklamayı yönetme, oluşturulan yanıtları gözden geçirme veya mevcut veri havuzlarıyla entegrasyon çalışmalarını ortadan kaldırmaz. Makalenin hızlandırıcının "üretim kalitesinde" olduğu iddiası bir satıcı tanımlamasıdır; kaynak hiçbir bağımsız değerlendirme veya müşteri kanıtı sunmuyor.
Mimari aynı zamanda kurumsal yapay zekanın ekonomisini ve yönetimini de görünür kılıyor. OpenSearch Sunucusuz vektör deposunun her zaman açık olan bir minimum maliyeti vardır ve AWS'ye göre, değişken çıkarım ve diğer hizmet ücretlerinden önce varsayılan tabanda ayda birkaç yüz ABD doları tutarında sabit bir temel maliyeti temsil edebilir. Önbelleğe alma, tekrarlanan model çağrılarını azaltabilir ancak depolama, vektör depolama, konuşma, ağ oluşturma veya işletim maliyetlerini ortadan kaldırmaz. Güvenlik, çeşitli AWS hizmetlerinde doğru yapılandırılmış kimlik ve erişim denetimlerine bağlıdır. Bilgi tabanı dahili prosedürleri veya hassas kurumsal bilgileri içerebileceğinden, dağıtım dikkatli bir yetkilendirme, belge yönetimi ve izleme gerektirir. Alınan belgelerdeki yanıtların temellendirilmesi, desteklenmeyen yanıtları azaltabilir ancak AWS bunun hataları ortadan kaldırmadığını açıkça söylüyor.
İnteraktif Mekanizma: Aslında Nasıl Çalışıyor?
Bu gelişmenin arkasında yatan teknolojiyi etkileşimli olarak keşfedin.
A route planner searches possible journeys using explicit rules. What does this illustrate about AI?
Bundan sonra ne izlenecek?
Ana sorular, kuruluşların prototipi kendi iş yükleri altında doğrulayıp doğrulayamayacakları, hassas bilgileri ve maliyetleri kontrol edip edemeyecekleri ve AWS'nin gelecekteki veya önerilen iyileştirmeler olarak tanımladığı korumaları ekleyip ekleyemeyecekleridir. Doğruluğu, gecikmeyi, ölçeklenebilirliği ve avatar tabanlı etkileşimin benimseme üzerindeki etkisini belirlemek için bağımsız testlere ihtiyaç vardır.
Bu sistem için ilk test, özellikle belgelerin çelişkili olduğu, eksik olduğu veya özel bir dil kullanıldığı durumlarda, kuruluşun kendi materyalinin doğruluğudur. AWS, kaynak alıntılarının ortaya çıkarılmasını önerir, ancak gönderide alıntı doğruluğu, cevap doğruluk oranları, yanlış cevap oranları veya sıradan aramayla karşılaştırmalar raporlanmaz. Kuruluşlar, oluşturulan yanıtların en son onaylanmış prosedürü aslına uygun bir şekilde yansıtıp yansıtmadığını ve kullanıcıların sistemde kanıt bulunmadığını anlayıp anlayamadıklarını test etmelidir. Gönderi, yüksek sonuçlu veya güvenlikle ilgili kararlar için bir insanı döngüde tutmayı öneriyor. Açık güven eşikleri ve yanıt doğrulama kontrolleri, uygulanan özellikler olarak değil, önerilen iyileştirmeler olarak tanımlanır.
Operasyonel performansın AWS'nin gösterge niteliğindeki rakamlarından varsayılmak yerine ölçülmesi gerekecektir. Gönderi, varsayılan kurulumun saniyenin altında önbelleğe alınmış yanıtlarla kabaca 50 ila 100 eşzamanlı kullanıcıyı işlediğini, daha yüksek kotaların ise yaklaşık 500 ila 1.000 kullanıcıyı destekleyebileceğini ve aynı mimarinin proaktif kota artışlarıyla 5.000'i aşabileceğini bildirdi. Yeni bilgi tabanı sorgularının ses işleme için ek süre ile birlikte yaklaşık iki ila dört saniye sürdüğü bildirildi. Bu rakamlar Bölgeye, modele, belge boyutuna, önbellek isabet oranına ve hizmet kotalarına bağlıdır. Kaynak, test iş yüklerini, metodolojiyi, hata çubuklarını veya bağımsız çoğaltmayı sağlamaz; dolayısıyla bunlar garanti yerine planlama tahminleri olarak ele alınmalıdır.
Bağlantı ve bilgilerin güncelliği önemli kısıtlamalardır. Her sorgu, AWS'ye gidiş dönüş yolculuğuna bağlıdır ve avatar, kararlı, düşük gecikmeli, makul derecede yüksek bant genişliğine sahip bağlantı gerektirir. AWS, prototipin çevrimdışı, uç veya azaltılmış mod özelliğine sahip olmadığını, bunun da bağlantısız veya aralıklı olarak bağlanan endüstriyel ortamlara uygunluğunu sınırladığını söylüyor. Belge alımı ardışık düzeni de eş zamanlı değildir ve tam metni önbelleğe alma, ifadeler ve altta yatan koşullar daha yakından inceleme gerektirdiğinde öncelikli bir yanıt olarak hizmet edebilir. Gelecekteki çalışmalar arasında anlamsal önbellek eşleştirme, çevrimdışı geri dönüş, metne yönelik zarif bozulma, daha güçlü yanıt doğrulama ve daha sıkı maliyet kontrolleri yer alacak. Kaynak, bu geliştirmelerin ne zaman sağlanacağını veya sağlanıp sağlanmayacağını söylemiyor.