แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ

แบบทดสอบการประเมินตัวแทน AI

ทดสอบวิธีที่ตัวแทนประเมินความสำเร็จของงาน วิถีการใช้เครื่องมือ และการใช้เครื่องมือ เหตุใดการให้เกรดตามสภาพแวดล้อมและการทดลองซ้ำจึงมีความสำคัญ และข้อดีข้อเสียของตัวให้คะแนน

เส้นทางแนะนำที่เกี่ยวข้องการประเมินตัวแทน AI
คำถาม 1 ของ 8

เหตุใดการตรวจสอบคำตอบสุดท้ายเพียงข้อเดียวจึงไม่เพียงพอสำหรับตัวแทน

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. เหตุใดการตรวจสอบคำตอบสุดท้ายเพียงข้อเดียวจึงไม่เพียงพอสำหรับตัวแทน
    • Agents never produce answers
    • Agents act over many steps and cause side effects, so the path and final state matter
    • Answers are always correct
    • Reference answers cannot be written for agent tasks
  2. SWE-bench ตัดสินว่าตัวแทนแก้ไขปัญหาได้อย่างไร
    • By running the repository's tests after the agent's patch
    • By counting lines changed
    • By asking the agent if it succeeded
    • By measuring response speed
  3. เมตริกสไตล์ pass^k ใช้วัดอะไร
    • Speed across k tools
    • Success on at least one of k attempts
    • Whether the agent succeeds on every one of k repeated attempts
    • The number of tokens per step
  4. มิติข้อมูลใดที่จะทำเครื่องหมายตัวแทนที่ประสบความสำเร็จแต่ต้องใช้ห้าสิบขั้นตอนสำหรับงานห้าขั้นตอน
    • Task success
    • ความปลอดภัย
    • Tool naming
    • Trajectory quality
  5. จุดอ่อนที่ทราบของผู้ให้คะแนนตามแบบจำลองคืออะไร
    • พวกเขาไม่สามารถอ่านข้อความได้
    • They can be biased, for example toward long or confident answers, so they need checking against human labels
    • They are always slower than humans
    • ใช้งานได้กับรูปภาพเท่านั้น
  6. Why reset the environment to a known state before every run?
    • So results are reproducible and runs cannot affect each other
    • To save disk space
    • Because agents require it to start
    • To make tasks harder
  7. Why can public leaderboard scores mislead a team?
    • They are always faked
    • Leaderboards never publish numbers
    • Benchmarks can leak into training data, saturate or fail to match your workload
    • They only measure cost
  8. How should a safety eval treat a run where the agent finished the task but obeyed a planted instruction to leak data?
    • As a full success
    • As a partial success worth half credit
    • It should be ignored
    • As a failure