Kvíz spojený s průvodcem · Střední úroveň
Agent Lešení a postroje kvíz
Testuje smyčku agenta a odesílání nástrojů, pravidla pro zastavení a zpracování chyb a proč stejný model hodnotí různé postroje.
Otázka 1 z 8
Co je to postroj agenta?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Co je to postroj agenta?
- Váhy neuronové sítě modelu
- Kód kolem modelu, který spouští smyčku, spouští nástroje a rozhoduje, kdy se má zastavit
- Datový soubor pro tréninkové agenty
- Typ GPU
- Jaký je příklad pravidla zastavení?
- Použití většího modelu
- Maximální počet kroků nebo rozpočet nákladů
- Přidávání dalších nástrojů
- Změna fontu výstupů
- Na co projekt SWE-agent kladl důraz?
- Modely nepotřebují žádné nástroje
- Rozhraní agent-počítač navržené pro modely se stručnými diváky a okamžitou zpětnou vazbou
- Že větší GPU řeší všechny problémy s agenty
- Úplné odstranění smyčky
- Proč může stejný model skórovat různě na SWE-bench v různých přehledech?
- Benchmark se mění každou hodinu
- Skóre odráží model plus postroj, nástroje, limity kroků a zásady opakování
- Modelky mezi běhy zapomínají na trénink
- Skóre se přiděluje náhodně
- Jak by měl postroj obvykle zvládnout neúspěšné přivolání nástroje?
- Okamžitě havarujte celý běh
- Vraťte chybu do modelu jako výsledek nástroje, na který může reagovat
- Tiše to ignorujte
- Restartujte počítač
- Jaký je účel omezení velikosti výstupu nástroje a označení zkrácení?
- Chcete-li skrýt informace před uživateli
- Chcete-li zachovat kontext spravovatelný a dát modelu vědět, aby vyhledával nebo nacházel další stránky
- Aby nástroje běžely rychleji na GPU
- Aby model nemohl používat nástroje
- Když spravedlivě porovnáváte dva modely jako agenti, co byste měli udržovat konstantní?
- Pouze jméno modelu
- Zásady svazku, výzvy, nástrojů, limitu kroku a opakování
- Nic; vše měnit
- Pouze datum testu
- Postroj se zastaví, než velký nástroj pro vrácení peněz požádá o souhlas člověka. Jaký princip designu to ukazuje?
- Zhutnění kontextu
- Gating nástroje s vedlejšími efekty s oprávněními nebo potvrzením
- Paralelní volání funkce
- Jemné ladění vkládání