ต่อไปคำแนะนำต่อไป
แซนด์บ็อกซ์การดำเนินการโค้ดสำหรับตัวแทน
เทคนิค
คู่มือทางเทคนิค
การควบคุมตัวแทนหรือโครงข่าย คือโค้ดรอบๆ โมเดลภาษาที่จะเปลี่ยนให้เป็นตัวแทน โดยจะรันลูปของการเรียกโมเดล ดำเนินการเครื่องมือที่ร้องขอ ป้อนผลลัพธ์กลับ และตัดสินใจว่าจะหยุดเมื่อใด
ฟังคำแนะนำนี้บรรยายโดย AI · ~3 min
สิ่งสำคัญคือเนื่องจากสายรัดกำหนดรูปแบบผลลัพธ์ได้อย่างมาก ดังนั้นรุ่นเดียวกันจึงสามารถให้คะแนนได้แตกต่างกันมากในเกณฑ์มาตรฐานเดียวกัน ขึ้นอยู่กับวิธีการออกแบบเครื่องมือ บริบท และการจัดการข้อผิดพลาด
โมเดลภาษาจะสร้างข้อความด้วยตัวมันเอง ตัวแทนต้องการโปรแกรมที่ถามโมเดลซ้ำๆ ว่าต้องทำอะไร ดำเนินการ และแสดงให้โมเดลเห็นว่าเกิดอะไรขึ้น โปรแกรมนั้นคือบังเหียน ส่วนหลักคือลูป คำจำกัดความของเครื่องมือ การจัดส่งเครื่องมือ การจัดการบริบท กฎการหยุด และการจัดการข้อผิดพลาด ลูปจะส่งการสนทนาจนถึงโมเดล หากโมเดลร้องขอเครื่องมือ อุปกรณ์ควบคุมจะตรวจสอบอาร์กิวเมนต์ รันเครื่องมือ และผนวกผลลัพธ์ หากแบบจำลองให้คำตอบสุดท้าย การวนซ้ำก็จะสิ้นสุดลง กฎการหยุดจะเพิ่มขีดจำกัด: จำนวนขั้นตอนสูงสุด โทเค็นหรืองบประมาณต้นทุน การหมดเวลา หรือการตรวจสอบ เช่น การทดสอบที่ผ่านการทดสอบ การออกแบบเครื่องมือมีผลกระทบอย่างมาก โครงการ SWE-agent จากนักวิจัยของ Princeton ซึ่งตีพิมพ์ในปี 2024 แย้งว่าตัวแทนต้องการอินเทอร์เฟซคอมพิวเตอร์-ตัวแทนที่ออกแบบมาสำหรับโมเดล โดยมีโปรแกรมดูไฟล์ที่กระชับ คำสั่งการค้นหา และผลตอบรับทันทีเกี่ยวกับการแก้ไขที่ไม่ถูกต้อง และแสดงผลลัพธ์ที่ดีขึ้นนี้มากกว่าการทำให้โมเดลมีเปลือกธรรมดา การจัดรูปแบบเอาต์พุตก็มีความสำคัญเช่นกัน การตัดทอนเอาต์พุตจำนวนมาก การสรุปข้อผิดพลาดอย่างชัดเจน และการส่งคืนผลลัพธ์ที่มีโครงสร้างช่วยให้แบบจำลองทำงานได้อย่างถูกต้อง การจัดการบริบทจะตัดสินว่าโมเดลจะเห็นอะไรเมื่อประวัติเพิ่มขึ้น เช่น การเก็บขั้นตอนล่าสุด การสรุปขั้นตอนที่เก่ากว่า หรือการจัดเก็บบันทึกย่อในไฟล์ การจัดการข้อผิดพลาดจะตัดสินว่าการเรียกเครื่องมือที่ล้มเหลวจะทำให้การรันล้มเหลวหรือถูกส่งกลับไปยังโมเดลเพื่อเป็นข้อมูลที่สามารถตอบสนองได้ นี่คือเหตุผลว่าทำไมตัวเลขมาตรฐานจึงจำเป็นต้องมีบริบท ในการวัดประสิทธิภาพการเข้ารหัส เช่น SWE-bench คะแนนที่รายงานสำหรับรุ่นหนึ่งจะแตกต่างกันไปตามโครง นโยบายการลองใหม่ และขีดจำกัดขั้นตอน ความเข้าใจผิดที่พบบ่อยคือหมายเลขลีดเดอร์บอร์ดจะวัดโมเดลเพียงอย่างเดียว มันวัดรุ่นพร้อมสายรัดและการตั้งค่า ผลิตภัณฑ์ต่างๆ เช่น สารเข้ารหัสบรรทัดคำสั่ง ส่วนใหญ่ได้รับการออกแบบทางวิศวกรรมอย่างระมัดระวังรอบๆ โมเดล
ชุดสายรัดเอเจนต์การเขียนโค้ดช่วยให้เครื่องมือโมเดลสามารถดูไฟล์ แก้ไขช่วงบรรทัดที่ต้องการ และรันการทดสอบ จากนั้นวนซ้ำจนกว่าการทดสอบจะผ่านหรือถึงขีดจำกัดขั้นตอน
ชุดสายรัดผู้ช่วยวิจัยจะหยุดการวนซ้ำหลังจากการเรียกใช้เครื่องมือ 20 ครั้ง และขอให้แบบจำลองสรุปพร้อมแหล่งที่มา เพื่อป้องกันค่าใช้จ่ายที่ควบคุมไม่ได้
ทีมแทนที่เครื่องมือ Raw Shell ด้วยโปรแกรมแก้ไขไฟล์ที่แสดงหน้าต่างบรรทัดสั้นๆ และรายงานข้อผิดพลาดทางไวยากรณ์ทันที และอัตราความสำเร็จของตัวแทนในงานภายในจะดีขึ้นโดยไม่ต้องเปลี่ยนโมเดล
เจ้าหน้าที่ปฏิบัติงานของลูกค้าจะขัดขวางการเรียกเครื่องมือขอคืนเงินที่เกินจำนวนที่กำหนด และหยุดชั่วคราวเพื่อขออนุมัติจากมนุษย์ก่อนดำเนินการ
ผู้ให้บริการโมเดลจัดส่งผลิตภัณฑ์เอเจนต์และชุดพัฒนาซอฟต์แวร์ของตนเองเพิ่มมากขึ้น ซึ่งสร้างมาตรฐานให้กับรูปแบบการควบคุมบางอย่าง เช่น แผนผังเครื่องมือ สิทธิ์อนุญาต และการบีบอัดบริบท โปรโตคอลสำหรับการเชื่อมต่อเครื่องมือกับโมเดล เช่น Model Context Protocol ช่วยให้การรวมเครื่องมือสามารถนำมาใช้ซ้ำได้มากขึ้น การออกแบบสายรัดมีแนวโน้มที่จะยังคงเป็นแหล่งที่มาสำคัญของความแตกต่างด้านประสิทธิภาพ และการประเมินกำลังมุ่งไปสู่การรายงานโครงประกอบควบคู่ไปกับแบบจำลอง สำหรับผู้สร้าง การออกแบบเครื่องมืออย่างระมัดระวัง กฎการหยุดที่ชัดเจน และการตัดไม้ที่ดีจะมีความสำคัญเสมอไม่ว่ารุ่นใดจะอยู่ใต้นั้นก็ตาม
จดหมายข่าวฟรี
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
การควบคุมตัวแทนหรือโครงข่าย คือโค้ดรอบๆ โมเดลภาษาที่จะเปลี่ยนให้เป็นตัวแทน โดยจะรันลูปของการเรียกโมเดล ดำเนินการเครื่องมือที่ร้องขอ ป้อนผลลัพธ์กลับ และตัดสินใจว่าจะหยุดเมื่อใด สิ่งสำคัญคือเนื่องจากสายรัดกำหนดรูปแบบผลลัพธ์ได้อย่างมาก ดังนั้นรุ่นเดียวกันจึงสามารถให้คะแนนได้แตกต่างกันมากในเกณฑ์มาตรฐานเดียวกัน ขึ้นอยู่กับวิธีการออกแบบเครื่องมือ บริบท และการจัดการข้อผิดพลาด
สายรัดเป็นโปรแกรมโดยรอบที่เปลี่ยนโมเดลการสร้างข้อความให้เป็นตัวแทน
กฎการหยุดจะสิ้นสุดการวนซ้ำตามขีดจำกัด เช่น การนับก้าว งบประมาณ การหมดเวลา หรือการตรวจสอบความสำเร็จ
ตัวแทน SWE แย้งว่าเครื่องมือที่ออกแบบมาสำหรับโมเดลจะปรับปรุงผลลัพธ์มากกว่าเชลล์ธรรมดา
คะแนนเกณฑ์มาตรฐานจะวัดทั้งระบบ ไม่ใช่เฉพาะรุ่นเพียงอย่างเดียว
การส่งคืนข้อผิดพลาดที่ดำเนินการได้ช่วยให้โมเดลแก้ไขแนวทางได้ แทนที่จะสิ้นสุดการดำเนินการ
เรียนรู้ต่อไป
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้
ต่อไปคำแนะนำต่อไป
แซนด์บ็อกซ์การดำเนินการโค้ดสำหรับตัวแทน
เทคนิค