คู่มือแอปพลิเคชัน

ตัวแทนมนุษย์ในวง

เจ้าหน้าที่ Human-in-the-loop (HITL) คือระบบ AI ที่หยุดชั่วคราวเพื่อขออนุมัติ แก้ไข หรือป้อนข้อมูลจากบุคคลก่อนดำเนินการที่เป็นผลตามมา

ภาพรวม

เจ้าหน้าที่ Human-in-the-loop (HITL) คือระบบ AI ที่หยุดชั่วคราวเพื่อขออนุมัติ แก้ไข หรือป้อนข้อมูลจากบุคคลก่อนดำเนินการที่เป็นผลตามมา พวกเขาให้มนุษย์รับผิดชอบต่อการตัดสินใจที่มีเดิมพันสูง ในขณะที่ยังคงปล่อยให้ระบบอัตโนมัติเข้ามาช่วยงานหนัก

Human-in-the-Loop Agents มุ่งเน้นไปที่การใช้งานจริง: เปลี่ยนความสามารถของโมเดลให้เป็นเวิร์กโฟลว์รายวันที่เชื่อถือได้ซึ่งส่งมอบมูลค่าที่วัดได้

เจาะลึก

ตัวแทนที่เป็นอิสระอย่างเต็มที่จะตัดสินใจและดำเนินการด้วยตนเอง เจ้าหน้าที่ที่อยู่ในวงจะแทรกจุดตรวจสอบซึ่งบุคคลจะตรวจสอบการกระทำที่เสนอของเจ้าหน้าที่ก่อนที่จะดำเนินการ รูปแบบทั่วไป ได้แก่ ประตูการอนุมัติ (ตัวแทนร่างอีเมลหรือการคืนเงินและรอการคลิกเพื่อส่ง) การยกระดับตามความเชื่อมั่น (จะขัดจังหวะมนุษย์เมื่อความแน่นอนลดลงต่ำกว่าเกณฑ์เท่านั้น) และการเรียนรู้เชิงรุก (กรณีที่ไม่แน่นอนถูกส่งไปยังผู้คน ซึ่งคำตอบจะกลายเป็นข้อมูลการฝึกอบรมในอนาคต) เป้าหมายคือการรวมความเร็วและขนาดของระบบอัตโนมัติเข้ากับวิจารณญาณของมนุษย์ ความรับผิดชอบ และความสามารถในการตรวจจับข้อผิดพลาดก่อนที่จะก่อให้เกิดอันตราย สำหรับองค์กรไม่แสวงผลกำไร นี่อาจหมายถึงตัวแทนที่ร่างคำตอบให้ แต่ไม่เคยส่งตัวแทนที่ไม่เกี่ยวข้องกับพนักงานลงลายมือชื่อเลย

ข้อมูลเชิงลึกทางเทคนิค

ในทางเทคนิคแล้ว HITL ถูกนำมาใช้เป็นการขัดจังหวะหรือประตูการเรียกเครื่องมือในลูปควบคุมของเอเจนต์ เมื่อตัวแทนเสนอการดำเนินการที่มีความละเอียดอ่อน ผู้จัดทำจะระงับการดำเนินการ เรียงลำดับสถานะของตัวแทน และส่งคำขอให้มีการตรวจสอบโดยมนุษย์ บุคคลอนุมัติ แก้ไข หรือปฏิเสธ การตอบสนองนั้นจะถูกป้อนกลับตามบริบทและการวนซ้ำจะดำเนินต่อไป คะแนนความเชื่อมั่น การประมาณการความไม่แน่นอน หรือกฎนโยบายจะตัดสินว่าการดำเนินการใดทำให้เกิดการหยุดชั่วคราวและการทำงานโดยอัตโนมัติ

การเรียนรู้ตัวแทนจากมนุษย์ในวง

เจ้าหน้าที่ Human-in-the-loop (HITL) คือระบบ AI ที่หยุดชั่วคราวเพื่อขออนุมัติ แก้ไข หรือป้อนข้อมูลจากบุคคลก่อนดำเนินการที่เป็นผลตามมา พวกเขาให้มนุษย์รับผิดชอบต่อการตัดสินใจที่มีเดิมพันสูง ในขณะที่ยังคงปล่อยให้ระบบอัตโนมัติเข้ามาช่วยงานหนัก Human-in-the-Loop Agents มุ่งเน้นไปที่การใช้งานจริง: เปลี่ยนความสามารถของโมเดลให้เป็นเวิร์กโฟลว์รายวันที่เชื่อถือได้ซึ่งส่งมอบมูลค่าที่วัดได้ เพื่อสร้างความเข้าใจอย่างลึกซึ้ง ให้ปฏิบัติต่อ Human-in-the-Loop Agent เสมือนเป็นโมเดลการดำเนินงาน ไม่ใช่คุณลักษณะเดียว: กำหนดผลลัพธ์ที่ต้องการ ชี้แจงสมมติฐาน และแยกสิ่งที่ระบบสามารถทำได้อย่างน่าเชื่อถือจากสิ่งที่ยังต้องใช้วิจารณญาณจากผู้เชี่ยวชาญ

ในทางปฏิบัติ ทีมที่แข็งแกร่งที่ใช้ตัวแทนแบบ Human-in-the-Loop มุ่งเน้นไปที่ผลลัพธ์ของเวิร์กโฟลว์ ไม่ใช่จำลองการสาธิต และกำหนดจุดตรวจสอบของมนุษย์ตั้งแต่เนิ่นๆ โดยจะบันทึกเกณฑ์ความสำเร็จที่ชัดเจน ทดสอบกับข้อมูลและขั้นตอนการทำงานที่สมจริง และทำซ้ำตามรูปแบบความล้มเหลวที่สังเกตได้ แทนที่จะชนะการวัดประสิทธิภาพเพียงครั้งเดียว นี่คือจุดที่ความเข้าใจทางทฤษฎีกลายเป็นความสามารถที่คงทนของผลิตภัณฑ์ นโยบาย และการดำเนินงาน

การออกแบบระดับแอปพลิเคชันจะกำหนดว่า AI จะปรับปรุงผลลัพธ์ที่แท้จริงหรือไม่ ในขณะเดียวกัน การทำให้กระบวนการที่เสียหายเป็นอัตโนมัติสามารถขยายปัญหาที่มีอยู่ได้ แนวทางที่ยืดหยุ่นที่สุดคือการรวมความเร็วของการทดลองเข้ากับวินัยในการกำกับดูแล: ดำเนินการนำร่อง จับหลักฐาน เผยแพร่บันทึกการตัดสินใจ และอัปเดตการป้องกันอย่างต่อเนื่องเมื่อพฤติกรรมของโมเดล ความคาดหวังของผู้ใช้ และข้อกำหนดด้านกฎระเบียบมีการเปลี่ยนแปลง

ผลกระทบเชิงกลยุทธ์

การออกแบบระดับแอปพลิเคชันจะกำหนดว่า AI จะปรับปรุงผลลัพธ์ที่แท้จริงหรือไม่

การออกแบบระดับแอปพลิเคชันจะกำหนดว่า AI จะปรับปรุงผลลัพธ์ที่แท้จริงหรือไม่ ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ

การบูรณาการขั้นตอนการทำงานที่ดีจะช่วยเพิ่มผลผลิตที่ผู้ใช้ไว้วางใจได้

การบูรณาการขั้นตอนการทำงานที่ดีจะช่วยเพิ่มผลผลิตที่ผู้ใช้ไว้วางใจได้ ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ

กรณีการใช้งานที่มีขอบเขตดีจะช่วยลดความเหนื่อยล้าของการเปลี่ยนแปลงและความเสี่ยงในการดำเนินการ

กรณีการใช้งานที่มีขอบเขตดีจะช่วยลดความเหนื่อยล้าของการเปลี่ยนแปลงและความเสี่ยงในการดำเนินการ ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ

อนาคตของตัวแทนแบบ Human-in-the-Loop

คาดหวังการควบคุมที่เหมาะสมยิ่งกว่าการอนุมัติ/ปฏิเสธแบบไบนารี ตัวแทนจะถามคำถามที่ชัดเจนมากขึ้น นำเสนอทางเลือกต่างๆ มากมายพร้อมข้อดีข้อเสีย และเรียนรู้การยอมรับความเสี่ยงของผู้ใช้แต่ละราย เพื่อให้รบกวนน้อยลงเมื่อเวลาผ่านไป กฎระเบียบ เช่น พระราชบัญญัติ AI ของสหภาพยุโรป ผลักดันให้มีการควบคุมดูแลโดยมนุษย์สำหรับการใช้งานที่มีความเสี่ยงสูง ดังนั้นจุดตรวจ HITL จึงกลายเป็นข้อกำหนดในการปฏิบัติตามข้อกำหนด ไม่ใช่แค่ทางเลือกในการออกแบบเท่านั้น เครื่องมือสำหรับการอนุมัติแบบอะซิงโครนัส เส้นทางการตรวจสอบ และสถานะตัวแทน 'หยุดชั่วคราวและดำเนินการต่อ' กำลังเติบโตอย่างรวดเร็ว

การใช้งานจริงในโลกแห่งความเป็นจริง

ตัวแทนฝ่ายสนับสนุนลูกค้าร่างการอนุมัติการคืนเงิน แต่กำหนดเส้นทางการคืนเงินที่มากกว่า $500 ไปยังผู้จัดการที่เป็นมนุษย์เพื่อการลงชื่อออกในคลิกเดียว

AI การเข้ารหัสทางการแพทย์จะทำเครื่องหมายการวินิจฉัยที่ไม่ชัดเจนเพื่อให้ผู้เขียนโค้ดที่ผ่านการรับรองยืนยันแทนที่จะคาดเดา

ระบบกลั่นกรองเนื้อหาจะลบสแปมที่ชัดเจนโดยอัตโนมัติ แต่จะเพิ่มระดับโพสต์ที่เสี่ยงต่อการตรวจสอบที่เป็นมนุษย์

เอเจนต์การเขียนโค้ดเสนอการย้ายฐานข้อมูลและรอให้นักพัฒนาอนุมัติก่อนที่จะดำเนินการจริง

รูปแบบการดำเนินงาน

ตัวแทน Human-in-the-Loop ในทางปฏิบัติ

ตัวแทนฝ่ายสนับสนุนลูกค้าร่างการอนุมัติการคืนเงิน แต่กำหนดเส้นทางการคืนเงินที่มากกว่า $500 ไปยังผู้จัดการที่เป็นมนุษย์เพื่อการลงชื่อออกในคลิกเดียว

ตัวแทนฝ่ายสนับสนุนลูกค้าร่างการอนุมัติการคืนเงิน แต่กำหนดเส้นทางการคืนเงินที่มากกว่า $500 ไปยังผู้จัดการที่เป็นมนุษย์เพื่อการลงนามในคลิกเดียว ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยเจ้าหน้าที่สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป

ตัวแทน Human-in-the-Loop ในทางปฏิบัติ

AI การเข้ารหัสทางการแพทย์จะทำเครื่องหมายการวินิจฉัยที่ไม่ชัดเจนเพื่อให้ผู้เขียนโค้ดที่ผ่านการรับรองยืนยันแทนที่จะคาดเดา

AI การเข้ารหัสทางการแพทย์จะทำเครื่องหมายการวินิจฉัยที่ไม่ชัดเจนสำหรับผู้เขียนโค้ดที่ได้รับการรับรองเพื่อยืนยันแทนที่จะคาดเดาว่าทีมมักจะได้รับผลลัพธ์ที่ดีกว่า เมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป

ตัวแทน Human-in-the-Loop ในทางปฏิบัติ

ระบบกลั่นกรองเนื้อหาจะลบสแปมที่ชัดเจนโดยอัตโนมัติ แต่จะเพิ่มระดับโพสต์ที่เสี่ยงต่อการตรวจสอบที่เป็นมนุษย์

ระบบกลั่นกรองเนื้อหาจะลบสแปมที่ชัดเจนออกโดยอัตโนมัติ แต่ยกระดับการโพสต์แนวเขตไปยังผู้ตรวจสอบที่เป็นมนุษย์ ทีมมักจะได้รับผลลัพธ์ที่ดีขึ้นเมื่อพวกเขากำหนดเกณฑ์คุณภาพไว้ล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป

ตัวแทน Human-in-the-Loop ในทางปฏิบัติ

เอเจนต์การเขียนโค้ดเสนอการย้ายฐานข้อมูลและรอให้นักพัฒนาอนุมัติก่อนที่จะดำเนินการจริง

เอเจนต์การเขียนโค้ดเสนอการโยกย้ายฐานข้อมูลและรอให้นักพัฒนาอนุมัติก่อนที่จะรันในเวอร์ชันที่ใช้งานจริง ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งการเพิ่มผลผลิตและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป

ความเสี่ยงและรั้ว

!

การทำให้กระบวนการที่เสียหายเป็นอัตโนมัติสามารถขยายปัญหาที่มีอยู่ได้

!

ทีมอาจดำเนินการอัตโนมัติมากเกินไปและลบวิจารณญาณของมนุษย์ที่จำเป็นออก

!

คุณภาพอาจคลาดเคลื่อนได้หากไม่ได้รับการประเมินผลลัพธ์อย่างต่อเนื่อง

แผนงานการดำเนินงาน

1

แมปขั้นตอนการทำงานปัจจุบันและระบุขั้นตอนที่มีแรงเสียดทานสูงสุด

แมปขั้นตอนการทำงานปัจจุบันและระบุขั้นตอนที่มีแรงเสียดทานสูงสุด ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น

2

กำหนดจุดตรวจของมนุษย์ก่อนระบบอัตโนมัติเต็มรูปแบบ

กำหนดจุดตรวจของมนุษย์ก่อนระบบอัตโนมัติเต็มรูปแบบ ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น

3

ฝึกอบรมผู้ใช้เกี่ยวกับการแจ้งเตือน เส้นทางการยกระดับ และมาตรฐานคุณภาพ

ฝึกอบรมผู้ใช้เกี่ยวกับการแจ้งเตือน เส้นทางการยกระดับ และมาตรฐานคุณภาพ ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น

4

ติดตามผลลัพธ์ระดับงานเพื่อยืนยันคุณค่าที่ยั่งยืน

ติดตามผลลัพธ์ระดับงานเพื่อยืนยันคุณค่าที่ยั่งยืน ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น

สำรวจต่อไป