Kvíz spojený s průvodcem · Těžko úroveň

Vyhodnocovací kvíz agentů AI

Testuje, jak hodnocení agentů hodnotí úspěšnost úkolů, trajektorie a použití nástrojů, proč záleží na hodnocení na základě prostředí a opakovaných testech a na kompromisech srovnávače.

Související vodicí cestyHodnocení agentů AI
Otázka 1 z 8

Proč agentům obvykle nestačí kontrola jediné konečné odpovědi?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Proč agentům obvykle nestačí kontrola jediné konečné odpovědi?
    • Agenti nikdy nevytvářejí odpovědi
    • Agenti působí v mnoha krocích a způsobují vedlejší účinky, takže na cestě a konečném stavu záleží
    • Odpovědi jsou vždy správné
    • Referenční odpovědi nelze psát pro úkoly agenta
  2. Jak SWE-bench posuzuje, zda agent vyřešil problém?
    • Spuštěním testů úložiště po opravě agenta
    • Počítáním řádků změněno
    • Zeptáním se agenta, zda se to podařilo
    • Měřením rychlosti odezvy
  3. Co měří metrika stylu pass^k?
    • Rychlost přes k nástrojů
    • Úspěch alespoň v jednom z k pokusů
    • Zda agent uspěje při každém z k opakovaných pokusů
    • Počet žetonů na krok
  4. Která dimenze by označila agenta, který uspěje, ale udělá padesát kroků pro práci v pěti krocích?
    • Úspěch úkolu
    • Bezpečnost
    • Pojmenování nástroje
    • Kvalita trajektorie
  5. Jaká je známá slabina srovnávačů založených na modelu?
    • Neumějí číst text
    • Mohou být zaujatí, například k dlouhým nebo sebevědomým odpovědím, takže potřebují kontrolu proti lidským nálepkám
    • Jsou vždy pomalejší než lidé
    • Pracují pouze na obrázcích
  6. Proč před každým spuštěním resetovat prostředí do známého stavu?
    • Výsledky jsou tedy reprodukovatelné a běhy se nemohou navzájem ovlivňovat
    • Chcete-li ušetřit místo na disku
    • Protože agenti to ke spuštění vyžadují
    • Aby byly úkoly těžší
  7. Proč může skóre veřejného žebříčku uvést tým v omyl?
    • Jsou vždy falešné
    • Žebříčky nikdy nezveřejňují čísla
    • Benchmarky mohou uniknout do tréninkových dat, nasytit se nebo selhat v souladu s vaší pracovní zátěží
    • Měří pouze náklady
  8. Jak by mělo hodnocení bezpečnosti zacházet s během, kdy agent dokončil úkol, ale poslechl zasazený pokyn k úniku dat?
    • Jako plný úspěch
    • Jako dílčí úspěch v hodnotě polovičního kreditu
    • Mělo by se to ignorovat
    • Jako selhání