เกิดอะไรขึ้น
AWS เผยแพร่คู่มือทางเทคนิคและตัวอย่างการใช้งานสำหรับระบบที่ขับเคลื่อนด้วย AI โดยมีจุดประสงค์เพื่อรักษาและดึงความรู้ของสถาบันกลับมา ระบบใช้การสร้างการเรียกข้อมูลเสริมเพื่อตอบคำถามจากเอกสารขององค์กรเอง ด้วยการเข้าถึงข้อความและเสียง การโต้ตอบกับอวาตาร์ที่เป็นตัวเลือก และแคชที่ออกแบบมาเพื่อลดการเรียกโมเดลซ้ำๆ
โพสต์ของ AWS อธิบายถึงต้นแบบที่ปรับใช้ได้เพื่อรักษาสิ่งที่เรียกว่าความรู้ของสถาบันหรือ "ชนเผ่า": ขั้นตอน นโยบาย และความเชี่ยวชาญในทางปฏิบัติที่อาจเข้าถึงได้ยากเมื่อพนักงานที่มีประสบการณ์ลาออก องค์กรต่างๆ อัปโหลดเอกสารไปยัง Amazon S3 โดยที่ Amazon Bedrock Knowledge Bases จัดการการแยกส่วนเอกสาร การฝัง และการเรียกค้นเอกสาร แบบจำลองพื้นฐานที่เลือกจะสร้างคำตอบที่มีพื้นฐานมาจากข้อความที่ดึงมาจากเอกสารเหล่านั้น ระบบนำเสนอคำตอบเหล่านั้นผ่านอินเทอร์เฟซเบราว์เซอร์ที่รองรับการโต้ตอบด้วยข้อความและเสียง และสามารถเชื่อมต่อกับอวตาร AI ที่กำหนดค่าได้ AWS วางตำแหน่งการออกแบบสำหรับสถานที่ต่างๆ เช่น การผลิต การดูแลสุขภาพ บริการทางการเงิน พลังงาน และรัฐบาล แต่โพสต์ไม่ได้บันทึกการใช้งานการผลิตโดยลูกค้าที่ระบุชื่อใดๆ
สถาปัตยกรรมนี้รวม Amazon Cognito สำหรับการตรวจสอบสิทธิ์, API Gateway สำหรับการเข้าถึงที่ควบคุม, AWS Lambda สำหรับการเรียบเรียง, Amazon S3 สำหรับไฟล์แอปพลิเคชันและแหล่งข้อมูล และ Amazon OpenSearch Serverless เป็นที่เก็บเวกเตอร์เบื้องหลังฐานความรู้ Amazon Titan Text Embeddings ใช้สำหรับการฝังเอกสาร รุ่นการสร้างคำตอบที่เลือกได้ในโพสต์ ได้แก่ Amazon Nova Pro และ Anthropic Claude 3 Sonnet การป้อนข้อมูลด้วยเสียงจะถูกแปลงเป็นข้อความด้วย Amazon Transcribe ในขณะที่ Amazon Polly สร้างการตอบกลับด้วยเสียงพูด การรวมอวตารใช้ WebRTC สำหรับการสตรีมและ WebSockets เพื่อการควบคุม และโพสต์กล่าวว่าเทคโนโลยีอวตารนั้นใช้ DeepBrain AI องค์กรสามารถเปลี่ยนผู้ให้บริการอวาตาร์ รูปร่างหน้าตา เสียง และพฤติกรรมได้ตาม AWS
การปรับใช้มีให้เป็นแอปพลิเคชันบน CloudFormation ที่ AWS บอกว่าสามารถติดตั้งได้ภายในไม่กี่ชั่วโมง โดยเริ่มจากการตั้งค่าครั้งเดียวโดยทีม IT หรือ DevOps ผู้ใช้อัปโหลดโฟลเดอร์ต้นทางของแอปพลิเคชันไปยังบัคเก็ต S3 สร้างสแตก CloudFormation กำหนดค่ารายละเอียดการเข้าสู่ระบบ และเปิด URL ส่วนหน้าที่ได้ คู่มือนี้เขียนและทดสอบสำหรับภูมิภาค us-east-1 ซึ่ง AWS กล่าวว่าได้รับเลือกสำหรับความพร้อมใช้งานของโมเดลพื้นฐานและสตรีมมิ่งอวาตาร์ในวงกว้าง การปรับใช้ที่อื่นจำเป็นต้องตรวจสอบความพร้อมใช้งานของโมเดลและอวตาร และการเปลี่ยนภูมิภาคแบบฮาร์ดโค้ดตามที่จำเป็น การออกแบบรองรับเอกสาร Word, PDF, ข้อความธรรมดา, Markdown และ JSON แม้ว่า AWS จะแนะนำ Markdown หรือ JSON ที่มีโครงสร้างสำหรับประสิทธิภาพในการดึงข้อมูล
การแคชเป็นศูนย์กลางของต้นแบบ แคชฝั่งเบราว์เซอร์ที่ใช้น้อยที่สุดล่าสุดจะจัดเก็บการโต้ตอบล่าสุด ในขณะที่ DynamoDB เก็บผลลัพธ์การตอบสนองที่กว้างขึ้นด้วยการตั้งค่าเวลาที่ใช้งานจริงที่แตกต่างกันไปตามประเภทเนื้อหา AWS รายงานว่าเวิร์กโหลดที่มีคำถามซ้ำๆ มากมายได้รับอัตราการเข้าถึงแคชที่ 50–70 เปอร์เซ็นต์ในการทดสอบ แต่เน้นว่าการประหยัดจริงนั้นขึ้นอยู่กับการผสมผสานการสืบค้น การใช้งานตรงกับข้อความค้นหาทุกประการมากกว่าความคล้ายคลึงทางความหมาย ดังนั้นคำถามเดียวกันในเวอร์ชันที่มีคำต่างกันจึงไม่สามารถนำคำตอบกลับมาใช้ซ้ำได้ AWS ยังบอกด้วยว่าเอกสารใหม่หรือเอกสารที่มีการเปลี่ยนแปลงจะสามารถสืบค้นได้หลังจากที่งานนำเข้าอัตโนมัติเสร็จสิ้นเท่านั้น แทนที่จะดำเนินการในทันที
รายละเอียดที่มา: aws.amazon.com ↗
ทำไมมันถึงสำคัญ
การออกแบบนี้ช่วยให้องค์กรต่างๆ มีวิธีที่เป็นรูปธรรมในการเปลี่ยนขั้นตอนที่กระจัดกระจายและเอกสารจากผู้เชี่ยวชาญให้เป็นบริการความรู้เชิงสนทนา คุณค่าในทางปฏิบัติของมันถูกบรรเทาลงด้วยค่าใช้จ่ายต่อเนื่อง การพึ่งพาการเชื่อมต่อที่เชื่อถือได้ การจับคู่แคชที่จำกัด ความล่าช้าในการนำเข้า และความเสี่ยงที่คำตอบที่มีเหตุผลยังคงผิดพลาดได้
ระบบแก้ไขปัญหาการปฏิบัติงานจริง: ความรู้ที่สำคัญมักจะกระจายไปตามเอกสาร พื้นที่เก็บข้อมูล และพนักงานแต่ละคน อินเทอร์เฟซที่เป็นภาษาธรรมชาติสามารถทำให้ขั้นตอนต่างๆ ค้นหาได้ง่ายขึ้นสำหรับผู้ปฏิบัติงานที่ไม่รู้ว่าข้อมูลถูกเก็บไว้ที่ไหน หรือผู้ที่ชอบพูดแทนการพิมพ์ การเข้าถึงด้วยเสียงยังอาจมีประโยชน์เมื่อพนักงานกำลังตรวจสอบขั้นตอนต่างๆ โดยที่มือของพวกเขาถูกครอบครอง แม้ว่าแหล่งข้อมูลจะไม่ได้ให้การศึกษาแก่ผู้ใช้ที่แสดงให้เห็นว่าการปรับปรุงการยอมรับหรือความไว้วางใจก็ตาม การพัฒนาที่มีความหมายที่นี่คือการผสมผสานระหว่างการเรียกค้น AI ที่อิงตามเอกสาร การประมวลผลเสียง แคช และอวตาร ลงในสถาปัตยกรรมคลาวด์ที่สามารถทำซ้ำได้
สำหรับองค์กร ตัวอย่างจะช่วยลดภาระทางวิศวกรรมในการประกอบส่วนประกอบเหล่านี้อย่างอิสระ AWS กล่าวว่าระบบ Bedrock แบบกำหนดเองพร้อมเสียง การแสดงภาพแทนตัว การดึงข้อมูล และการแคชจะต้องใช้เวลาหลายสัปดาห์หรือหลายเดือนและความเชี่ยวชาญเฉพาะทาง ในขณะที่ตัวอย่างจะมีเทมเพลตโครงสร้างพื้นฐานและโฟลว์แอปพลิเคชัน ซึ่งสามารถทำให้การทดลองเข้าถึงได้มากขึ้นสำหรับทีมเทคนิคขนาดเล็ก มันไม่ได้กำจัดงานในการเลือกเอกสารที่เชื่อถือได้ การตั้งค่าสิทธิ์ จัดการการเก็บรักษา การตรวจสอบคำตอบที่สร้างขึ้น หรือการบูรณาการกับที่เก็บข้อมูลที่มีอยู่ การกล่าวอ้างของบทความที่ว่าตัวเร่งคือ "คุณภาพการผลิต" เป็นลักษณะเฉพาะของผู้ขาย แหล่งที่มาไม่ได้ให้การประเมินโดยอิสระหรือหลักฐานลูกค้า
สถาปัตยกรรมยังช่วยให้มองเห็นเศรษฐศาสตร์และการกำกับดูแลของ AI ระดับองค์กรได้ ร้านค้าเวกเตอร์ OpenSearch Serverless มีการเปิดขั้นต่ำตลอดเวลา และตาม AWS สามารถแสดงต้นทุนพื้นฐานคงที่สองสามร้อยดอลลาร์สหรัฐต่อเดือนที่ขั้นต่ำเริ่มต้น ก่อนการอนุมานตัวแปรและค่าบริการอื่นๆ การแคชสามารถลดการเรียกโมเดลซ้ำๆ ได้ แต่จะไม่ลบพื้นที่จัดเก็บข้อมูล ที่เก็บเวคเตอร์ คำพูด เครือข่าย หรือต้นทุนการดำเนินงาน การรักษาความปลอดภัยขึ้นอยู่กับข้อมูลประจำตัวที่กำหนดค่าอย่างถูกต้องและการควบคุมการเข้าถึงในบริการต่างๆ ของ AWS เนื่องจากฐานความรู้อาจมีขั้นตอนภายในหรือข้อมูลสถาบันที่ละเอียดอ่อน การใช้งานจึงต้องได้รับอนุมัติอย่างรอบคอบ การกำกับดูแลเอกสาร และการตรวจสอบ การต่อสายดินคำตอบในเอกสารที่ดึงมาสามารถลดการตอบกลับที่ไม่รองรับได้ แต่ AWS ระบุอย่างชัดเจนว่าไม่ได้กำจัดข้อผิดพลาด
กลไกเชิงโต้ตอบ: มันทำงานอย่างไร
สำรวจเทคโนโลยีเบื้องหลังการพัฒนานี้แบบโต้ตอบ
A route planner searches possible journeys using explicit rules. What does this illustrate about AI?
จะดูอะไรต่อไป.
คำถามหลักคือองค์กรสามารถตรวจสอบความถูกต้องของต้นแบบภายใต้ปริมาณงานของตนเอง ควบคุมความรู้และต้นทุนที่ละเอียดอ่อน และเพิ่มการป้องกันที่ AWS ระบุว่าเป็นการปรับปรุงในอนาคตหรือที่แนะนำ จำเป็นต้องมีการทดสอบอิสระเพื่อสร้างความแม่นยำ เวลาแฝง ความสามารถในการปรับขนาด และผลกระทบของการโต้ตอบตามอวาตาร์ต่อการนำไปใช้
การทดสอบแรกสำหรับระบบนี้คือความถูกต้องแม่นยำในเนื้อหาขององค์กร โดยเฉพาะอย่างยิ่งเมื่อเอกสารขัดแย้ง ไม่สมบูรณ์ หรือใช้ภาษาพิเศษ AWS แนะนำให้แสดงการอ้างอิงแหล่งที่มา แต่โพสต์ไม่รายงานความแม่นยำในการอ้างอิง อัตราความแม่นยำของคำตอบ อัตราคำตอบเท็จ หรือการเปรียบเทียบกับการค้นหาทั่วไป องค์กรควรทดสอบว่าคำตอบที่สร้างขึ้นนั้นสะท้อนขั้นตอนที่ได้รับอนุมัติล่าสุดอย่างซื่อสัตย์หรือไม่ และผู้ใช้สามารถรับรู้เมื่อระบบขาดหลักฐานหรือไม่ โพสต์นี้แนะนำให้มนุษย์คอยติดตามการตัดสินใจที่มีผลกระทบสูงหรือเกี่ยวข้องกับความปลอดภัย เกณฑ์ความเชื่อมั่นที่ชัดเจนและการตรวจสอบความถูกต้องของคำตอบได้รับการระบุว่าเป็นการปรับปรุงที่แนะนำ ไม่ใช่คุณลักษณะที่นำมาใช้
ประสิทธิภาพการปฏิบัติงานจะต้องได้รับการวัดแทนที่จะสันนิษฐานจากตัวเลขบ่งชี้ของ AWS โพสต์รายงานว่าการตั้งค่าเริ่มต้นจัดการผู้ใช้พร้อมกันประมาณ 50 ถึง 100 รายพร้อมการตอบกลับแคชเสี้ยววินาที ในขณะที่โควต้าที่สูงขึ้นสามารถรองรับผู้ใช้ประมาณ 500 ถึง 1,000 ราย และสถาปัตยกรรมเดียวกันอาจเกิน 5,000 รายด้วยการเพิ่มโควต้าเชิงรุก รายงานแบบสอบถามฐานความรู้ใหม่ใช้เวลาประมาณสองถึงสี่วินาที พร้อมเวลาเพิ่มเติมสำหรับการประมวลผลเสียง ตัวเลขเหล่านี้ขึ้นอยู่กับภูมิภาค รุ่น ขนาดเอกสาร อัตราการเข้าถึงแคช และโควต้าการบริการ แหล่งที่มาไม่ได้จัดเตรียมปริมาณงานทดสอบ วิธีการ แถบข้อผิดพลาด หรือการจำลองแบบอิสระ ดังนั้นจึงควรถือเป็นการประมาณการวางแผนมากกว่าการรับประกัน
การเชื่อมต่อและความสดใหม่ของข้อมูลถือเป็นข้อจำกัดที่สำคัญ ทุกคำค้นหาขึ้นอยู่กับการไปกลับที่ AWS และอวาตาร์ต้องการการเชื่อมต่อที่เสถียร เวลาแฝงต่ำ และมีแบนด์วิธสูงพอสมควร AWS กล่าวว่าต้นแบบไม่มีความสามารถออฟไลน์ โหมด Edge หรือโหมดลดระดับ ซึ่งจำกัดความเหมาะสมสำหรับสภาพแวดล้อมทางอุตสาหกรรมที่ขาดการเชื่อมต่อหรือเชื่อมต่อเป็นระยะๆ ไปป์ไลน์การนำเข้าเอกสารเป็นแบบอะซิงโครนัสเช่นกัน และการแคชข้อความที่แน่นอนอาจให้บริการคำตอบก่อนหน้าเมื่อถ้อยคำและสถานการณ์พื้นฐานจำเป็นต้องตรวจสอบอย่างใกล้ชิด งานในอนาคตจะรวมถึงการจับคู่แคชเชิงความหมาย ทางเลือกแบบออฟไลน์ การลดระดับข้อความอย่างค่อยเป็นค่อยไป การตรวจสอบคำตอบที่แข็งแกร่งยิ่งขึ้น และการควบคุมต้นทุนที่เข้มงวดยิ่งขึ้น แหล่งที่มาไม่ได้บอกว่าการปรับปรุงเหล่านั้นจะถูกส่งเมื่อใดหรือหรือไม่