ตัวแทนนั่งร้านและสายรัด

โมเดลภาษาจะสร้างข้อความด้วยตัวมันเอง ตัวแทนต้องการโปรแกรมที่ถามโมเดลซ้ำๆ ว่าต้องทำอะไร ดำเนินการ และแสดงให้โมเดลเห็นว่าเกิดอะไรขึ้น โปรแกรมนั้นคือบังเหียน ส่วนหลักคือลูป คำจำกัดความของเครื่องมือ การจัดส่งเครื่องมือ การจัดการบริบท กฎการหยุด และการจัดการข้อผิดพลาด ลูปจะส่งการสนทนาจนถึงโมเดล หากโมเดลร้องขอเครื่องมือ อุปกรณ์ควบคุมจะตรวจสอบอาร์กิวเมนต์ รันเครื่องมือ และผนวกผลลัพธ์ หากแบบจำลองให้คำตอบสุดท้าย การวนซ้ำก็จะสิ้นสุดลง กฎการหยุดจะเพิ่มขีดจำกัด: จำนวนขั้นตอนสูงสุด โทเค็นหรืองบประมาณต้นทุน การหมดเวลา หรือการตรวจสอบ เช่น การทดสอบที่ผ่านการทดสอบ การออกแบบเครื่องมือมีผลกระทบอย่างมาก โครงการ SWE-agent จากนักวิจัยของ Princeton ซึ่งตีพิมพ์ในปี 2024 แย้งว่าตัวแทนต้องการอินเทอร์เฟซคอมพิวเตอร์-ตัวแทนที่ออกแบบมาสำหรับโมเดล โดยมีโปรแกรมดูไฟล์ที่กระชับ คำสั่งการค้นหา และผลตอบรับทันทีเกี่ยวกับการแก้ไขที่ไม่ถูกต้อง และแสดงผลลัพธ์ที่ดีขึ้นนี้มากกว่าการทำให้โมเดลมีเปลือกธรรมดา การจัดรูปแบบเอาต์พุตก็มีความสำคัญเช่นกัน การตัดทอนเอาต์พุตจำนวนมาก การสรุปข้อผิดพลาดอย่างชัดเจน และการส่งคืนผลลัพธ์ที่มีโครงสร้างช่วยให้แบบจำลองทำงานได้อย่างถูกต้อง การจัดการบริบทจะตัดสินว่าโมเดลจะเห็นอะไรเมื่อประวัติเพิ่มขึ้น เช่น การเก็บขั้นตอนล่าสุด การสรุปขั้นตอนที่เก่ากว่า หรือการจัดเก็บบันทึกย่อในไฟล์ การจัดการข้อผิดพลาดจะตัดสินว่าการเรียกเครื่องมือที่ล้มเหลวจะทำให้การรันล้มเหลวหรือถูกส่งกลับไปยังโมเดลเพื่อเป็นข้อมูลที่สามารถตอบสนองได้ นี่คือเหตุผลว่าทำไมตัวเลขมาตรฐานจึงจำเป็นต้องมีบริบท ในการวัดประสิทธิภาพการเข้ารหัส เช่น SWE-bench คะแนนที่รายงานสำหรับรุ่นหนึ่งจะแตกต่างกันไปตามโครง นโยบายการลองใหม่ และขีดจำกัดขั้นตอน ความเข้าใจผิดที่พบบ่อยคือหมายเลขลีดเดอร์บอร์ดจะวัดโมเดลเพียงอย่างเดียว มันวัดรุ่นพร้อมสายรัดและการตั้งค่า ผลิตภัณฑ์ต่างๆ เช่น สารเข้ารหัสบรรทัดคำสั่ง ส่วนใหญ่ได้รับการออกแบบทางวิศวกรรมอย่างระมัดระวังรอบๆ โมเดล