Kvíz spojený s průvodcem · Těžko úroveň
Vyhodnocovací kvíz agentů AI
Testuje, jak hodnocení agentů hodnotí úspěšnost úkolů, trajektorie a použití nástrojů, proč záleží na hodnocení na základě prostředí a opakovaných testech a na kompromisech srovnávače.
Otázka 1 z 8
Proč agentům obvykle nestačí kontrola jediné konečné odpovědi?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Proč agentům obvykle nestačí kontrola jediné konečné odpovědi?
- Agenti nikdy nevytvářejí odpovědi
- Agenti působí v mnoha krocích a způsobují vedlejší účinky, takže na cestě a konečném stavu záleží
- Odpovědi jsou vždy správné
- Referenční odpovědi nelze psát pro úkoly agenta
- Jak SWE-bench posuzuje, zda agent vyřešil problém?
- Spuštěním testů úložiště po opravě agenta
- Počítáním řádků změněno
- Zeptáním se agenta, zda se to podařilo
- Měřením rychlosti odezvy
- Co měří metrika stylu pass^k?
- Rychlost přes k nástrojů
- Úspěch alespoň v jednom z k pokusů
- Zda agent uspěje při každém z k opakovaných pokusů
- Počet žetonů na krok
- Která dimenze by označila agenta, který uspěje, ale udělá padesát kroků pro práci v pěti krocích?
- Úspěch úkolu
- Bezpečnost
- Pojmenování nástroje
- Kvalita trajektorie
- Jaká je známá slabina srovnávačů založených na modelu?
- Neumějí číst text
- Mohou být zaujatí, například k dlouhým nebo sebevědomým odpovědím, takže potřebují kontrolu proti lidským nálepkám
- Jsou vždy pomalejší než lidé
- Pracují pouze na obrázcích
- Proč před každým spuštěním resetovat prostředí do známého stavu?
- Výsledky jsou tedy reprodukovatelné a běhy se nemohou navzájem ovlivňovat
- Chcete-li ušetřit místo na disku
- Protože agenti to ke spuštění vyžadují
- Aby byly úkoly těžší
- Proč může skóre veřejného žebříčku uvést tým v omyl?
- Jsou vždy falešné
- Žebříčky nikdy nezveřejňují čísla
- Benchmarky mohou uniknout do tréninkových dat, nasytit se nebo selhat v souladu s vaší pracovní zátěží
- Měří pouze náklady
- Jak by mělo hodnocení bezpečnosti zacházet s během, kdy agent dokončil úkol, ale poslechl zasazený pokyn k úniku dat?
- Jako plný úspěch
- Jako dílčí úspěch v hodnotě polovičního kreditu
- Mělo by se to ignorovat
- Jako selhání