คู่มือทางเทคนิค

การประเมินตัวแทน AI

การประเมินตัวแทน AI หมายถึงการวัดว่าระบบหลายขั้นตอนบรรลุเป้าหมายในสภาพแวดล้อมที่สมจริงได้ดีเพียงใด

ฟังคำแนะนำนี้บรรยายโดย AI · ~3 min

บนหน้านี้อ่าน 4 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของการประเมินตัวแทน AI
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

ซึ่งครอบคลุมถึงการทำงานเสร็จสิ้นหรือไม่ เส้นทางที่ใช้นั้นสมเหตุสมผลหรือไม่ ใช้เครื่องมืออย่างถูกต้อง มีค่าใช้จ่ายเท่าใด และปลอดภัยหรือไม่ เจ้าหน้าที่ดำเนินการหลายขั้นตอนและมีผลข้างเคียง ดังนั้นการตรวจสอบคำตอบเดียวกับข้อมูลอ้างอิงจึงไม่เพียงพอ และการประเมินที่ดีมักจะเรียกใช้เจ้าหน้าที่ภายในสภาพแวดล้อมที่มีการควบคุมและตรวจสอบสถานะสุดท้าย

เจาะลึก

การประเมินตัวแทนจะพิจารณาหลายสิ่งหลายอย่าง ความสำเร็จของงานถามว่าบรรลุเป้าหมายจริงหรือไม่ โดยตรวจสอบตามหลักการโดยพิจารณาจากสภาพแวดล้อมในภายหลัง การทดสอบผ่านการทดสอบ มีบันทึกที่ถูกต้อง ไฟล์มีเนื้อหาที่ถูกต้อง คุณภาพของวิถีจะถามว่าขั้นตอนต่างๆ นั้นสมเหตุสมผล ไม่มีการวนซ้ำ การโทรที่ไร้จุดหมาย หรือการเดาโชคหรือไม่ ความถูกต้องในการใช้เครื่องมือจะตรวจสอบว่าตัวแทนเลือกเครื่องมือที่เหมาะสมพร้อมอาร์กิวเมนต์ที่ถูกต้องและจัดการข้อผิดพลาดหรือไม่ ต้นทุนและเวลาในการตอบสนองติดตามโทเค็น การโทร และเวลานาฬิกาแขวน ตรวจสอบความปลอดภัยว่าตัวแทนหลีกเลี่ยงการกระทำที่เป็นอันตรายหรือไม่ได้รับอนุญาตและต่อต้านการฉีดยาทันที การวัดประสิทธิภาพตามสภาพแวดล้อมได้กลายเป็นแนวทางชั้นนำ SWE-bench จากนักวิจัยของ Princeton ขอให้ตัวแทนแก้ไขปัญหาจริงของ GitHub และตรวจสอบผลลัพธ์ด้วยการทดสอบของโครงการ และ SWE-bench Verified เป็นส่วนย่อยที่ตรวจสอบโดยมนุษย์ WebArena ให้บริการเว็บไซต์ที่โฮสต์เองสำหรับการเรียกดูงาน OSWorld ทดสอบเอเจนต์ที่ใช้งานคอมพิวเตอร์เดสก์ท็อปเต็มรูปแบบ GAIA ตั้งคำถามที่จำเป็นต้องมีการวิจัยและเครื่องมือหลายขั้นตอน ชุด tau-bench จำลองผู้ใช้และนโยบายโดเมน และแนะนำตัววัด pass^k ที่ถามว่าตัวแทนประสบความสำเร็จในการพยายามซ้ำทุกๆ k ครั้งหรือไม่ การให้เกรดใช้การตรวจสอบสามประเภทหลัก: การตรวจสอบผลลัพธ์โดยใช้โค้ดซึ่งมีความแม่นยำและราคาถูก; ผู้ให้คะแนนตามแบบจำลองที่ให้คะแนนการถอดเสียงเทียบกับรูบริก ซึ่งมีความยืดหยุ่น แต่จำเป็นต้องตรวจสอบกับการตัดสินของมนุษย์ และการตรวจสอบโดยเจ้าหน้าที่ซึ่งน่าเชื่อถือที่สุดและช้าที่สุด ข้อผิดพลาดทั่วไปคือการเชื่อถือกระดานผู้นำสาธารณะเพียงอย่างเดียว เกณฑ์มาตรฐานอาจรั่วไหลเข้าสู่ข้อมูลการฝึกอบรม อิ่มตัว หรือไม่เหมือนกับปริมาณงานของคุณเอง ข้อผิดพลาดอีกประการหนึ่งคือถือว่าการวิ่งครั้งหนึ่งเป็นความจริง เนื่องจากเจ้าหน้าที่ไม่สามารถกำหนดได้ และอัตราความสำเร็จที่แตกต่างกันเล็กน้อยอาจส่งเสียงดังได้ ทีมได้รับประโยชน์สูงสุดจากชุดการประเมินส่วนตัวที่สร้างขึ้นจากงานจริงและความล้มเหลวของตนเอง ดำเนินการซ้ำๆ และติดตามเมื่อเวลาผ่านไป

การใช้งานจริงในโลกแห่งความเป็นจริง

ทีมเอเจนต์การเข้ารหัสจะให้คะแนนความพยายามแต่ละครั้งโดยดูว่าการทดสอบที่ซ่อนอยู่ของพื้นที่เก็บข้อมูลผ่านไปหลังจากแพตช์ของเอเจนต์หรือไม่ เหมือนกับที่ SWE-bench ทำ แทนที่จะตัดสินว่าส่วนต่างนั้นดูถูกต้องหรือไม่

ตัวแทนฝ่ายบริการลูกค้าดำเนินการกับผู้ใช้จำลองและฐานข้อมูลการจองจำลอง นักเรียนระดับประถมศึกษาจะตรวจสอบว่าสถานะฐานข้อมูลสุดท้ายตรงกับผลลัพธ์ที่ถูกต้องหรือไม่ และตัวแทนปฏิบัติตามนโยบายการคืนเงินหรือไม่

ทีมวิศวกรดำเนินการทุกงานห้าครั้งและรายงานว่าเจ้าหน้าที่ประสบความสำเร็จในทั้งห้าครั้งบ่อยแค่ไหน ซึ่งเผยให้เห็นพฤติกรรมที่ไม่สม่ำเสมอซึ่งอัตราความสำเร็จของการรันครั้งเดียวจะซ่อนไว้

บริษัทเพิ่มชุดความปลอดภัยซึ่งงานต่างๆ รวมถึงคำสั่งที่ฝังไว้เพื่อลบไฟล์หรือข้อมูลรั่วไหล และจะนับการดำเนินการที่สำเร็จว่าล้มเหลวหากตัวแทนเชื่อฟัง

อนาคตของการประเมินตัวแทน AI

เมื่อตัวแทนทำงานนานขึ้น การประเมินก็เคลื่อนไปสู่ขอบเขตที่ยาวขึ้น สภาพแวดล้อมที่สมจริงมากขึ้น และการวัดความน่าเชื่อถือ ต้นทุน ตลอดจนความสามารถสูงสุด ความอิ่มตัวและการปนเปื้อนของเกณฑ์มาตรฐานน่าจะผลักดันให้นักพัฒนาสร้างงานใหม่ๆ และพึ่งพาชุดการทดสอบส่วนตัวเฉพาะโดเมนมากขึ้น การประเมินด้านความปลอดภัย รวมถึงการต่อต้านการฉีดยาทันที กำลังได้รับความสนใจมากขึ้นเมื่อเจ้าหน้าที่สามารถเข้าถึงระบบจริงได้ ไม่มีมาตรฐานที่ตกลงกันไว้สำหรับการให้คะแนนพฤติกรรมของตัวแทนปลายเปิด ดังนั้นการรวมการตรวจสอบผลลัพธ์ ผู้ให้คะแนนแบบจำลองที่ปรับเทียบ และการตรวจสอบโดยมนุษย์จึงมีแนวโน้มที่จะยังคงเป็นแนวทางปฏิบัติทั่วไป

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • ต้นทุนและงบประมาณ. การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
  • การตัดสินใจที่ชัดเจนยิ่งขึ้น. การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
  • การควบคุมคุณภาพ. ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต

ระวัง

  • การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
  • ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
  • ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น

ขั้นตอนต่อไป

  1. กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
  2. เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
  3. การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
  4. เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the Evaluating AI Agents quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

การประเมินตัวแทน AI คืออะไร

การประเมินตัวแทน AI หมายถึงการวัดว่าระบบหลายขั้นตอนบรรลุเป้าหมายในสภาพแวดล้อมที่สมจริงได้ดีเพียงใด ซึ่งครอบคลุมถึงการทำงานเสร็จสิ้นหรือไม่ เส้นทางที่ใช้นั้นสมเหตุสมผลหรือไม่ ใช้เครื่องมืออย่างถูกต้อง มีค่าใช้จ่ายเท่าใด และปลอดภัยหรือไม่ เจ้าหน้าที่ดำเนินการหลายขั้นตอนและมีผลข้างเคียง ดังนั้นการตรวจสอบคำตอบเดียวกับข้อมูลอ้างอิงจึงไม่เพียงพอ และการประเมินที่ดีมักจะเรียกใช้เจ้าหน้าที่ภายในสภาพแวดล้อมที่มีการควบคุมและตรวจสอบสถานะสุดท้าย

เหตุใดการตรวจสอบคำตอบสุดท้ายเพียงข้อเดียวจึงไม่เพียงพอสำหรับตัวแทน

การดำเนินการหลายขั้นตอนจะเปลี่ยนสภาพแวดล้อม ดังนั้นคุณจึงต้องตรวจสอบว่าเกิดอะไรขึ้นจริงและอย่างไร ไม่ใช่แค่ข้อความสุดท้ายเท่านั้น

SWE-bench ตัดสินว่าตัวแทนแก้ไขปัญหาได้อย่างไร

การตรวจสอบตามสภาพแวดล้อมซึ่งเป็นการทดสอบของโครงการจะตัดสินว่าการแก้ไขใช้งานได้จริงหรือไม่

เมตริกสไตล์ pass^k ใช้วัดอะไร

การต้องการความสำเร็จในความพยายามทั้งหมด k ครั้งจะวัดความสอดคล้อง ซึ่งสำคัญสำหรับตัวแทนที่ปรับใช้กับผู้ใช้จริง

มิติข้อมูลใดที่จะทำเครื่องหมายตัวแทนที่ประสบความสำเร็จแต่ต้องใช้ห้าสิบขั้นตอนสำหรับงานห้าขั้นตอน

การตรวจสอบวิถีจะตัดสินเส้นทางที่ใช้ การจับลูปและการสูญเสียที่การตรวจสอบผลลัพธ์เพียงอย่างเดียวพลาด

จุดอ่อนที่ทราบของผู้ให้คะแนนตามแบบจำลองคืออะไร

ผู้ให้คะแนนแบบจำลองมีความยืดหยุ่น แต่ควรตรวจสอบโดยเทียบกับวิจารณญาณของมนุษย์และเฝ้าดูอคติอย่างเป็นระบบ

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →