แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ
แบบทดสอบการประเมินตัวแทน AI
ทดสอบวิธีที่ตัวแทนประเมินความสำเร็จของงาน วิถีการใช้เครื่องมือ และการใช้เครื่องมือ เหตุใดการให้เกรดตามสภาพแวดล้อมและการทดลองซ้ำจึงมีความสำคัญ และข้อดีข้อเสียของตัวให้คะแนน
คำถาม 1 ของ 8
เหตุใดการตรวจสอบคำตอบสุดท้ายเพียงข้อเดียวจึงไม่เพียงพอสำหรับตัวแทน
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- เหตุใดการตรวจสอบคำตอบสุดท้ายเพียงข้อเดียวจึงไม่เพียงพอสำหรับตัวแทน
- Agents never produce answers
- Agents act over many steps and cause side effects, so the path and final state matter
- Answers are always correct
- Reference answers cannot be written for agent tasks
- SWE-bench ตัดสินว่าตัวแทนแก้ไขปัญหาได้อย่างไร
- By running the repository's tests after the agent's patch
- By counting lines changed
- By asking the agent if it succeeded
- By measuring response speed
- เมตริกสไตล์ pass^k ใช้วัดอะไร
- Speed across k tools
- Success on at least one of k attempts
- Whether the agent succeeds on every one of k repeated attempts
- The number of tokens per step
- มิติข้อมูลใดที่จะทำเครื่องหมายตัวแทนที่ประสบความสำเร็จแต่ต้องใช้ห้าสิบขั้นตอนสำหรับงานห้าขั้นตอน
- Task success
- ความปลอดภัย
- Tool naming
- Trajectory quality
- จุดอ่อนที่ทราบของผู้ให้คะแนนตามแบบจำลองคืออะไร
- พวกเขาไม่สามารถอ่านข้อความได้
- They can be biased, for example toward long or confident answers, so they need checking against human labels
- They are always slower than humans
- ใช้งานได้กับรูปภาพเท่านั้น
- Why reset the environment to a known state before every run?
- So results are reproducible and runs cannot affect each other
- To save disk space
- Because agents require it to start
- To make tasks harder
- Why can public leaderboard scores mislead a team?
- They are always faked
- Leaderboards never publish numbers
- Benchmarks can leak into training data, saturate or fail to match your workload
- They only measure cost
- How should a safety eval treat a run where the agent finished the task but obeyed a planted instruction to leak data?
- As a full success
- As a partial success worth half credit
- It should be ignored
- As a failure