Kvíz spojený s průvodcem · Střední úroveň

Agent Lešení a postroje kvíz

Testuje smyčku agenta a odesílání nástrojů, pravidla pro zastavení a zpracování chyb a proč stejný model hodnotí různé postroje.

Související vodicí cestyAgent Lešení A Postroje
Otázka 1 z 8

Co je to postroj agenta?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Co je to postroj agenta?
    • Váhy neuronové sítě modelu
    • Kód kolem modelu, který spouští smyčku, spouští nástroje a rozhoduje, kdy se má zastavit
    • Datový soubor pro tréninkové agenty
    • Typ GPU
  2. Jaký je příklad pravidla zastavení?
    • Použití většího modelu
    • Maximální počet kroků nebo rozpočet nákladů
    • Přidávání dalších nástrojů
    • Změna fontu výstupů
  3. Na co projekt SWE-agent kladl důraz?
    • Modely nepotřebují žádné nástroje
    • Rozhraní agent-počítač navržené pro modely se stručnými diváky a okamžitou zpětnou vazbou
    • Že větší GPU řeší všechny problémy s agenty
    • Úplné odstranění smyčky
  4. Proč může stejný model skórovat různě na SWE-bench v různých přehledech?
    • Benchmark se mění každou hodinu
    • Skóre odráží model plus postroj, nástroje, limity kroků a zásady opakování
    • Modelky mezi běhy zapomínají na trénink
    • Skóre se přiděluje náhodně
  5. Jak by měl postroj obvykle zvládnout neúspěšné přivolání nástroje?
    • Okamžitě havarujte celý běh
    • Vraťte chybu do modelu jako výsledek nástroje, na který může reagovat
    • Tiše to ignorujte
    • Restartujte počítač
  6. Jaký je účel omezení velikosti výstupu nástroje a označení zkrácení?
    • Chcete-li skrýt informace před uživateli
    • Chcete-li zachovat kontext spravovatelný a dát modelu vědět, aby vyhledával nebo nacházel další stránky
    • Aby nástroje běžely rychleji na GPU
    • Aby model nemohl používat nástroje
  7. Když spravedlivě porovnáváte dva modely jako agenti, co byste měli udržovat konstantní?
    • Pouze jméno modelu
    • Zásady svazku, výzvy, nástrojů, limitu kroku a opakování
    • Nic; vše měnit
    • Pouze datum testu
  8. Postroj se zastaví, než velký nástroj pro vrácení peněz požádá o souhlas člověka. Jaký princip designu to ukazuje?
    • Zhutnění kontextu
    • Gating nástroje s vedlejšími efekty s oprávněními nebo potvrzením
    • Paralelní volání funkce
    • Jemné ladění vkládání