發生了什麼事
AWS 發布了人工智慧驅動系統的技術指南和範例部署，旨在保存和檢索機構知識。該系統使用檢索增強生成來回答組織自己的文件中的問題，並提供文字和語音存取、可選的頭像互動以及旨在減少重複模型呼叫的快取。
AWS 的貼文描述了一個可部署的原型，用於保存所謂的機構或「部落」知識：當經驗豐富的員工離開時，程序、政策和實踐專業知識可能會變得難以獲得。組織將文件上傳到 Amazon S3，其中 Amazon Bedrock 知識庫處理文件分割、嵌入和檢索。然後，選定的基礎模型會根據從這些文件中檢索到的段落產生答案。該系統透過支援文字和語音互動的瀏覽器介面呈現這些答案，並且可以連接到可配置的人工智慧頭像。 AWS 將設計定位於製造、醫療保健、金融服務、能源和政府等環境，但該貼文沒有記錄任何指定客戶的生產部署。
該架構結合了用於身份驗證的 Amazon Cognito、用於受控存取的 API 網關、用於編排的 AWS Lambda、用於應用程式檔案和原始資料的 Amazon S3 以及作為知識庫背後的向量儲存的 Amazon OpenSearch Serverless。 Amazon Titan Text Embeddings 用於文件嵌入。文章中列出的選用答案產生模型是 Amazon Nova Pro 和 Anthropic Claude 3 Sonnet。使用 Amazon Transcribe 將語音輸入轉換為文本，而 Amazon Polly 則產生語音回應。化身整合使用 WebRTC 進行串流傳輸，使用 WebSocket 進行控制，貼文表示化身技術基於 DeepBrain AI。據 AWS 稱，組織可以更改頭像提供者、外觀、聲音和行為。
該部署是作為基於 CloudFormation 的應用程式提供的，AWS 表示，從 IT 或 DevOps 團隊的一次性設定開始，可以在幾個小時內完成安裝。使用者將應用程式的來源資料夾上傳到 S3 儲存桶、建立 CloudFormation 堆疊、配置登入詳細資訊並開啟生成的前端 URL。該指南是針對 us-east-1 區域編寫和測試的，AWS 表示選擇該區域是為了廣泛的基礎模型和頭像流可用性。其他地方的部署需要檢查模型和頭像可用性，並在必要時更改硬編碼區域。該設計支援 Word、PDF、純文字、Markdown 和 JSON 文檔，但 AWS 建議使用 Markdown 或結構化 JSON 來提高檢索效能。
快取是原型的核心。瀏覽器端最近最少使用的快取儲存最近的交互，而 DynamoDB 儲存更廣泛的響應結果，其生存時間設定因內容類型而異。 AWS 報告稱，具有許多重複問題的工作負載在測試中實現了 50-70% 的快取命中率，但強調實際節省取決於查詢組合。此實作匹配精確的查詢文本而不是語義相似性，因此同一問題的不同措辭版本可能不會重複使用答案。 AWS 也表示，新的或變更的文件只有在自動擷取作業完成後才能查詢，而不是立即查詢。
為什麼這很重要
該設計為組織提供了一種將分散的程序和專家文件轉變為對話式知識服務的具體方法。它的實用價值受到持續成本、對可靠連接的依賴、有限的快取匹配、攝取延遲以及接地答案仍然可能錯誤的風險的影響。
該系統解決了一個實際的操作問題：重要的知識通常分佈在文件、儲存庫和單一員工中。自然語言介面可以讓那些不知道資訊儲存在哪裡或喜歡說話而不是打字的工作人員更容易找到程式。當工作人員用雙手檢查程式時，語音存取也可能很有用，儘管消息來源沒有提供用戶研究來證明它可以提高採用率或信任度。這裡有意義的開發是將基於文件的人工智慧檢索、語音處理、快取和化身組合到可複製的雲端架構中。
對於組織來說，該範例減輕了獨立組裝這些組件的工程負擔。 AWS 表示，具有語音、頭像渲染、檢索和快取功能的客製化基岩系統需要數週到數月的時間和專業知識，而範例提供了基礎設施模板和應用程式流程。這可以使較小的技術團隊更容易進行實驗。它並不能消除選擇權威文件、設定權限、管理保留、審查產生的答案或與現有儲存庫整合的工作。文章中聲稱加速器具有「生產品質」是供應商的特徵；該消息來源未提供獨立評估或客戶證據。
該架構也使企業人工智慧的經濟性和治理變得可見。 OpenSearch 無伺服器向量儲存具有始終在線的最低限度，根據 AWS 的說法，在預設底價下，在可變推理和其他服務費用之前，每月的固定基準成本可以達到數百美元。快取可以減少重複的模型調用，但它不會消除儲存、向量儲存、語音、網路或營運成本。安全性取決於跨多個 AWS 服務正確配置的身份和存取控制。由於知識庫可能包含內部程序或敏感的機構訊息，因此部署需要仔細的授權、文件治理和監控。在檢索到的文件中提供答案可以減少不受支援的答案，但 AWS 明確表示這並不能消除錯誤。
互動機制：它實際上是如何運作的
以互動方式探索這項發展背後的基礎技術。
A route planner searches possible journeys using explicit rules. What does this illustrate about AI?
接下來看什麼
主要問題是組織是否可以在自己的工作負載下驗證原型，控制敏感知識和成本，並添加 AWS 確定為未來或建議的增強功能的保護措施。需要進行獨立測試來確定準確性、延遲、可擴展性以及基於化身的交互作用對採用的影響。
該系統的第一個測試是組織自己材料的準確性，特別是當文件衝突、不完整或使用專門語言時。 AWS 建議顯示來源引用，但該貼文不報告引用準確性、答案準確率、錯誤答案率或與普通搜尋的比較。組織應測試產生的答案是否忠實反映最新批准的程序，以及使用者是否可以識別系統何時缺乏證據。該貼文建議讓人員參與重大後果或與安全相關的決策。明確置信閾值和答案驗證檢查被確定為建議的增強功能，而不是已實現的功能。
營運績效需要進行衡量，而不是根據 AWS 的指示性數據進行假設。該貼文報告稱，預設設定可以處理大約 50 到 100 個並發用戶，並具有亞秒級快取回應，而更高的配額可以支援大約 500 到 1,000 個用戶，而相同的架構可以透過主動增加配額來支援超過 5,000 個用戶。據報道，新的知識庫查詢大約需要兩到四秒，其中還有額外的時間用於語音處理。這些數字取決於區域、型號、文件大小、快取命中率和服務配額。來源不提供測試工作負載、方法、誤差線或獨立複製，因此它們應被視為計劃估計而不是保證。
連結性和資訊新鮮度是重要的限制因素。每個查詢都依賴 AWS 的往返，而虛擬形象需要穩定、低延遲、合理的高頻寬連線。 AWS 表示，該原型沒有離線、邊緣或降級模式功能，限制了其對斷開連接或間歇性連接的工業環境的適用性。文件攝取管道也是異步的，當措辭和潛在情況需要仔細審查時，精確文字快取可以提供事先的答案。未來的工作將包括語義快取匹配、離線回退、文字優雅降級、更強的答案驗證和更嚴格的成本控制。消息人士沒有透露何時或是否會提供這些增強功能。