คู่มือแอปพลิเคชัน

ตัวแทนการสะท้อนกลับและการแก้ไขตนเอง

การสะท้อนกลับเป็นเทคนิคที่เจ้าหน้าที่ AI สะท้อนความล้มเหลวของตนเองเป็นลายลักษณ์อักษร และนำบทเรียนเหล่านั้นกลับไปสู่ความพยายามครั้งถัดไป

ภาพรวม

การสะท้อนกลับเป็นเทคนิคที่เจ้าหน้าที่ AI สะท้อนความล้มเหลวของตนเองเป็นลายลักษณ์อักษร และนำบทเรียนเหล่านั้นกลับไปสู่ความพยายามครั้งถัดไป เป็นเรื่องสำคัญเนื่องจากช่วยให้เจ้าหน้าที่สามารถปรับปรุงงานได้โดยไม่ต้องฝึกอบรมโมเดลพื้นฐานใหม่

Reflexion and Self-Correcting Agents มุ่งเน้นไปที่การใช้งานจริง: เปลี่ยนความสามารถของโมเดลให้เป็นขั้นตอนการทำงานรายวันที่เชื่อถือได้ ซึ่งมอบมูลค่าที่วัดได้

เจาะลึก

Reflexion ซึ่งนำมาใช้ในรายงานปี 2023 โดย Shinn และเพื่อนร่วมงาน ทำให้ตัวแทนมีการวนซ้ำ: พยายามทำงาน รับสัญญาณเกี่ยวกับวิธีการทำงาน (ผลการทดสอบ รางวัล หรือการวิจารณ์) จากนั้นเขียน 'การสะท้อน' ในภาษาธรรมชาติสั้นๆ เพื่ออธิบายสิ่งที่ผิดพลาดและสิ่งที่ควรลองต่อไป การสะท้อนนั้นจะถูกเก็บไว้ในหน่วยความจำและนำหน้าข้อความแจ้งของความพยายามครั้งถัดไป สิ่งสำคัญที่สุดคือน้ำหนักของแบบจำลองไม่เคยเปลี่ยนแปลง การเรียนรู้เกิดขึ้นทั้งหมดในหน้าต่างบริบทในรูปแบบข้อความ 'การเรียนรู้เสริมด้วยวาจา' นี้ช่วยให้เจ้าหน้าที่สามารถวนซ้ำปัญหาการเขียนโค้ด การนำทางเว็บ และงานการให้เหตุผล ในเกณฑ์มาตรฐานการเขียนโค้ด HumanEval การแก้ไขตัวเองในรูปแบบ Reflexion ช่วยเพิ่มอัตราการส่งบอลให้สูงกว่าความพยายามในการยิงนัดเดียวอย่างมาก เพียงแค่ปล่อยให้เจ้าหน้าที่แก้ไขข้อผิดพลาดของตัวเองในการพยายามไม่กี่ครั้ง

ข้อมูลเชิงลึกทางเทคนิค

การสะท้อนกลับแยกบทบาทสามอย่าง: นักแสดงที่สร้างการกระทำ ผู้ประเมินที่ให้คะแนนผลลัพธ์ (การทดสอบหน่วย การตรวจสอบการจับคู่แบบตรงทั้งหมด หรือการตัดสิน LLM) และแบบจำลองการสะท้อนตนเองที่เปลี่ยนคะแนนนั้นให้เป็นบทเรียนที่เป็นข้อความ บทเรียนจะเข้าสู่บัฟเฟอร์หน่วยความจำแบบตอนที่นำมาใช้ซ้ำในการทดลองครั้งถัดไป เนื่องจากความคิดเห็นเป็นภาษามากกว่าการไล่ระดับสี จึงไม่จำเป็นต้องมีการฝึกอบรม GPU แต่ขึ้นอยู่กับสัญญาณการประเมินที่เชื่อถือได้เป็นอย่างมาก เพื่อหลีกเลี่ยงการเสริมความมั่นใจแต่สะท้อนกลับผิด

การเรียนรู้การสะท้อนกลับและการแก้ไขตนเอง

การสะท้อนกลับเป็นเทคนิคที่เจ้าหน้าที่ AI สะท้อนความล้มเหลวของตนเองเป็นลายลักษณ์อักษร และนำบทเรียนเหล่านั้นกลับไปสู่ความพยายามครั้งถัดไป เป็นเรื่องสำคัญเนื่องจากช่วยให้เจ้าหน้าที่สามารถปรับปรุงงานได้โดยไม่ต้องฝึกอบรมโมเดลพื้นฐานใหม่ Reflexion and Self-Correcting Agents มุ่งเน้นไปที่การใช้งานจริง: เปลี่ยนความสามารถของโมเดลให้เป็นขั้นตอนการทำงานรายวันที่เชื่อถือได้ ซึ่งมอบมูลค่าที่วัดได้ เพื่อสร้างความเข้าใจอย่างลึกซึ้ง ให้ปฏิบัติต่อ Reflexion และ Self-Correcting Agent เป็นรูปแบบการดำเนินงาน ไม่ใช่คุณลักษณะเดียว: กำหนดผลลัพธ์ที่ต้องการ ชี้แจงสมมติฐาน และแยกสิ่งที่ระบบสามารถทำได้อย่างน่าเชื่อถือจากสิ่งที่ยังคงต้องใช้วิจารณญาณจากผู้เชี่ยวชาญ

ในทางปฏิบัติ ทีมที่แข็งแกร่งที่ใช้ Reflexion และ Self-Correcting Agents มุ่งเน้นไปที่ผลลัพธ์ของเวิร์กโฟลว์ ไม่ใช่จำลองการสาธิต และกำหนดจุดตรวจสอบของมนุษย์ตั้งแต่เนิ่นๆ โดยจะบันทึกเกณฑ์ความสำเร็จที่ชัดเจน ทดสอบกับข้อมูลและขั้นตอนการทำงานที่สมจริง และทำซ้ำตามรูปแบบความล้มเหลวที่สังเกตได้ แทนที่จะชนะการวัดประสิทธิภาพเพียงครั้งเดียว นี่คือจุดที่ความเข้าใจทางทฤษฎีกลายเป็นความสามารถที่คงทนของผลิตภัณฑ์ นโยบาย และการดำเนินงาน

การออกแบบระดับแอปพลิเคชันจะกำหนดว่า AI จะปรับปรุงผลลัพธ์ที่แท้จริงหรือไม่ ในขณะเดียวกัน การทำให้กระบวนการที่เสียหายเป็นอัตโนมัติสามารถขยายปัญหาที่มีอยู่ได้ แนวทางที่ยืดหยุ่นที่สุดคือการรวมความเร็วของการทดลองเข้ากับวินัยในการกำกับดูแล: ดำเนินการนำร่อง จับหลักฐาน เผยแพร่บันทึกการตัดสินใจ และอัปเดตการป้องกันอย่างต่อเนื่องเมื่อพฤติกรรมของโมเดล ความคาดหวังของผู้ใช้ และข้อกำหนดด้านกฎระเบียบมีการเปลี่ยนแปลง

ผลกระทบเชิงกลยุทธ์

การออกแบบระดับแอปพลิเคชันจะกำหนดว่า AI จะปรับปรุงผลลัพธ์ที่แท้จริงหรือไม่

การออกแบบระดับแอปพลิเคชันจะกำหนดว่า AI จะปรับปรุงผลลัพธ์ที่แท้จริงหรือไม่ ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ

การบูรณาการขั้นตอนการทำงานที่ดีจะช่วยเพิ่มผลผลิตที่ผู้ใช้ไว้วางใจได้

การบูรณาการขั้นตอนการทำงานที่ดีจะช่วยเพิ่มผลผลิตที่ผู้ใช้ไว้วางใจได้ ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ

กรณีการใช้งานที่มีขอบเขตดีจะช่วยลดความเหนื่อยล้าของการเปลี่ยนแปลงและความเสี่ยงในการดำเนินการ

กรณีการใช้งานที่มีขอบเขตดีจะช่วยลดความเหนื่อยล้าของการเปลี่ยนแปลงและความเสี่ยงในการดำเนินการ ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ

อนาคตของการสะท้อนกลับและตัวแทนการแก้ไขตนเอง

การแก้ไขตัวเองกำลังกลายเป็นเลเยอร์เริ่มต้นในกรอบงานตัวแทนแทนที่จะเป็นเคล็ดลับการวิจัย คาดหวังการผสานรวมที่เข้มงวดยิ่งขึ้นกับเครื่องมือตรวจสอบอัตโนมัติ เช่น แซนด์บ็อกซ์โค้ด เครื่องมือตรวจสอบอย่างเป็นทางการ และการดึงข้อมูลที่ยืนยันข้อเท็จจริง ดังนั้นการสะท้อนกลับจึงอิงตามสัญญาณที่เป็นกลาง แทนที่จะเป็นแบบจำลองที่คาดเดาเอง ความท้าทายแบบเปิดคือการหลีกเลี่ยงลูปที่เอเจนต์ 'แก้ไข' ผลลัพธ์การทำงานอย่างไม่มีที่สิ้นสุด ตัดสินใจว่าเมื่อใดควรหยุดทำซ้ำ และป้องกันไม่ให้การสะท้อนกลับไปสู่การหาเหตุผลเข้าข้างตนเองที่ฟังดูมีเหตุผลแต่ไม่ได้รับการตรวจสอบ

การใช้งานจริงในโลกแห่งความเป็นจริง

เอเจนต์การเขียนโค้ดที่รันการทดสอบหน่วย อ่านการยืนยันที่ล้มเหลว เขียนบันทึกเกี่ยวกับจุดบกพร่อง และแก้ไขโค้ดก่อนที่จะรันชุดโปรแกรมอีกครั้ง

ผู้ช่วยวิจัยที่จับภาพการอ้างอิงที่หลอนเมื่อตรวจสอบการดึงข้อมูลล้มเหลว จากนั้นแก้ไขคำตอบเพื่อใช้เฉพาะแหล่งข้อมูลที่ได้รับการยืนยันเท่านั้น

ตัวแทนการนำทางบนเว็บ (เช่น บน AlfWorld หรือการวัดประสิทธิภาพ WebShop) ที่บันทึก 'ฉันคลิกตัวกรองผิด' และหลีกเลี่ยงข้อผิดพลาดในการลองอีกครั้ง

นักแก้ปัญหาทางคณิตศาสตร์ที่ตรวจสอบคำตอบสุดท้ายกับข้อจำกัด สังเกตเห็นข้อผิดพลาดของสัญญาณ และดำเนินการขั้นตอนที่เกี่ยวข้องใหม่

รูปแบบการดำเนินงาน

ตัวแทนการสะท้อนกลับและการแก้ไขตนเองในทางปฏิบัติ

เอเจนต์การเขียนโค้ดที่รันการทดสอบหน่วย อ่านการยืนยันที่ล้มเหลว เขียนบันทึกเกี่ยวกับจุดบกพร่อง และแก้ไขโค้ดก่อนที่จะรันชุดโปรแกรมอีกครั้ง

เอเจนต์การเขียนโค้ดที่รันการทดสอบหน่วย อ่านการยืนยันที่ล้มเหลว เขียนบันทึกเกี่ยวกับจุดบกพร่อง และแก้ไขโค้ดก่อนที่จะรันชุดโปรแกรมอีกครั้ง ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป

ตัวแทนการสะท้อนกลับและการแก้ไขตนเองในทางปฏิบัติ

ผู้ช่วยวิจัยที่จับภาพการอ้างอิงที่หลอนเมื่อตรวจสอบการดึงข้อมูลล้มเหลว จากนั้นแก้ไขคำตอบเพื่อใช้เฉพาะแหล่งข้อมูลที่ได้รับการยืนยันเท่านั้น

ผู้ช่วยวิจัยที่ตรวจจับการอ้างอิงที่มีอาการประสาทหลอนเมื่อการตรวจสอบการดึงข้อมูลล้มเหลว จากนั้นแก้ไขคำตอบเพื่อใช้เฉพาะแหล่งที่มาที่ได้รับการยืนยัน ทีมมักจะได้รับผลลัพธ์ที่ดีขึ้นเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป

ตัวแทนการสะท้อนกลับและการแก้ไขตนเองในทางปฏิบัติ

ตัวแทนการนำทางบนเว็บ (เช่น บน AlfWorld หรือการวัดประสิทธิภาพ WebShop) ที่บันทึก 'ฉันคลิกตัวกรองผิด' และหลีกเลี่ยงข้อผิดพลาดในการลองอีกครั้ง

ตัวแทนการนำทางบนเว็บ (เช่น บนเกณฑ์มาตรฐาน AlfWorld หรือ WebShop) ที่บันทึก 'ฉันคลิกตัวกรองผิด' และหลีกเลี่ยงข้อผิดพลาดในการลองใหม่ ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งการเพิ่มผลผลิตและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป

ตัวแทนการสะท้อนกลับและการแก้ไขตนเองในทางปฏิบัติ

นักแก้ปัญหาทางคณิตศาสตร์ที่ตรวจสอบคำตอบสุดท้ายกับข้อจำกัด สังเกตเห็นข้อผิดพลาดของสัญญาณ และดำเนินการขั้นตอนที่เกี่ยวข้องใหม่

นักแก้ปัญหาทางคณิตศาสตร์ที่ตรวจสอบคำตอบสุดท้ายกับข้อจำกัด สังเกตเห็นสัญญาณผิดพลาด และทำขั้นตอนที่เกี่ยวข้องใหม่ ทีมมักจะได้รับผลลัพธ์ที่ดีขึ้นเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป

ความเสี่ยงและรั้ว

!

การทำให้กระบวนการที่เสียหายเป็นอัตโนมัติสามารถขยายปัญหาที่มีอยู่ได้

!

ทีมอาจดำเนินการอัตโนมัติมากเกินไปและลบวิจารณญาณของมนุษย์ที่จำเป็นออก

!

คุณภาพอาจคลาดเคลื่อนได้หากไม่ได้รับการประเมินผลลัพธ์อย่างต่อเนื่อง

แผนงานการดำเนินงาน

1

แมปขั้นตอนการทำงานปัจจุบันและระบุขั้นตอนที่มีแรงเสียดทานสูงสุด

แมปขั้นตอนการทำงานปัจจุบันและระบุขั้นตอนที่มีแรงเสียดทานสูงสุด ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น

2

กำหนดจุดตรวจของมนุษย์ก่อนระบบอัตโนมัติเต็มรูปแบบ

กำหนดจุดตรวจของมนุษย์ก่อนระบบอัตโนมัติเต็มรูปแบบ ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น

3

ฝึกอบรมผู้ใช้เกี่ยวกับการแจ้งเตือน เส้นทางการยกระดับ และมาตรฐานคุณภาพ

ฝึกอบรมผู้ใช้เกี่ยวกับการแจ้งเตือน เส้นทางการยกระดับ และมาตรฐานคุณภาพ ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น

4

ติดตามผลลัพธ์ระดับงานเพื่อยืนยันคุณค่าที่ยั่งยืน

ติดตามผลลัพธ์ระดับงานเพื่อยืนยันคุณค่าที่ยั่งยืน ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น

สำรวจต่อไป