गाइड से जुड़ी प्रश्नोत्तरी · कठिन स्तर
एआई एजेंटों प्रश्नोत्तरी का मूल्यांकन
परीक्षण करता है कि एजेंट कार्य की सफलता, प्रक्षेप पथ और उपकरण के उपयोग का मूल्यांकन कैसे करता है, पर्यावरण-आधारित ग्रेडिंग और बार-बार परीक्षण क्यों मायने रखते हैं, और ग्रेडर ट्रेड-ऑफ़।
प्रश्न 1 का 8
एजेंटों के लिए एक ही अंतिम उत्तर की जाँच करना आमतौर पर पर्याप्त क्यों नहीं है?
प्रत्येक प्रश्न का पूर्वावलोकन करें8 प्रश्न
जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।
- एजेंटों के लिए एक ही अंतिम उत्तर की जाँच करना आमतौर पर पर्याप्त क्यों नहीं है?
- Agents never produce answers
- Agents act over many steps and cause side effects, so the path and final state matter
- Answers are always correct
- Reference answers cannot be written for agent tasks
- एसडब्ल्यूई-बेंच यह कैसे तय करती है कि किसी एजेंट ने कोई समस्या हल कर दी है या नहीं?
- By running the repository's tests after the agent's patch
- By counting lines changed
- By asking the agent if it succeeded
- By measuring response speed
- पास^के स्टाइल मीट्रिक क्या मापता है?
- Speed across k tools
- Success on at least one of k attempts
- Whether the agent succeeds on every one of k repeated attempts
- The number of tokens per step
- कौन सा आयाम उस एजेंट को चिह्नित करेगा जो सफल होता है लेकिन पांच-चरणीय कार्य के लिए पचास कदम उठाता है?
- Task success
- Safety
- Tool naming
- Trajectory quality
- मॉडल-आधारित ग्रेडर्स की ज्ञात कमज़ोरी क्या है?
- वे पाठ नहीं पढ़ सकते
- They can be biased, for example toward long or confident answers, so they need checking against human labels
- They are always slower than humans
- वे केवल छवियों पर काम करते हैं
- Why reset the environment to a known state before every run?
- So results are reproducible and runs cannot affect each other
- To save disk space
- Because agents require it to start
- To make tasks harder
- Why can public leaderboard scores mislead a team?
- They are always faked
- Leaderboards never publish numbers
- Benchmarks can leak into training data, saturate or fail to match your workload
- They only measure cost
- How should a safety eval treat a run where the agent finished the task but obeyed a planted instruction to leak data?
- As a full success
- As a partial success worth half credit
- It should be ignored
- As a failure