ตัวแทนรั้ว

They keep autonomous systems on-task, on-policy, and out of trouble.

เมื่อเจ้าหน้าที่ AI มีความสามารถในการเรียกใช้เครื่องมือ เขียนโค้ด ส่งข้อความ และใช้จ่ายเงินได้ รั้วกั้นจึงกลายเป็นความแตกต่างระหว่างผู้ช่วยที่เป็นประโยชน์และความรับผิด Guardrails ทำงานในหลายชั้น: หน้าจออินพุต guardrails แจ้งให้ผู้ใช้พยายามเจลเบรคหรือร้องขอนอกประเด็น; ราวกั้นเอาท์พุตจะตรวจสอบการตอบสนองของตัวแทนสำหรับเนื้อหาที่เป็นพิษ เป็นเท็จ หรือไม่เป็นไปตามข้อกำหนดก่อนที่จะเข้าถึงผู้ใช้ และฉากกั้นการดำเนินการจะจำกัดเครื่องมือ, API, ไฟล์ หรือขีดจำกัดการใช้จ่ายที่ตัวแทนสามารถใช้ได้ สามารถนำไปใช้เป็นกฎเกณฑ์ที่เข้มงวด (รายการปฏิเสธคำสั่งต้องห้าม) เป็นแบบจำลอง 'ตัดสิน' ที่แยกจากกันซึ่งให้เกรดเอาต์พุต หรือเป็นการอนุญาตที่กำหนดขอบเขตซึ่งทำให้การดำเนินการที่เป็นอันตรายเป็นไปไม่ได้ ราวกั้นที่ดีไม่ปลอดภัย สังเกตได้ และได้รับการทดสอบกับอินพุตของฝ่ายตรงข้าม แทนที่จะเชื่อถือแบบจำลองในการทำงาน