Kvíz spojený s průvodcem · Střední úroveň

Pass@k metrický kvíz s vysvětlením

Testuje definici pass@k, nezaujatý odhad z n vzorků, spolehlivost pass^k a běžné způsoby, jak se skóre pass@k špatně čte nebo nafukuje.

Související vodicí cestyMetrika Pass At K
Otázka 1 z 8

Co měří pass@k pro jeden problém?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Co měří pass@k pro jeden problém?
    • Zlomek k vzorků, které projdou testy
    • Pravděpodobnost, že alespoň jeden z k vzorkovaných pokusů projde testy
    • Pravděpodobnost, že první pokus projde po k opakováních jemného doladění
    • Počet úspěšných testů z k testů
  2. Co obsahuje HumanEval, benchmark představený s papírem Codex?
    • 2 294 vydání GitHub z projektů Python
    • 1000 problémů s konkurenčním programováním v C++
    • 164 ručně psaných problémů s programováním Python s jednotkovými testy
    • 500 hlášení o chybách ověřených lidmi
  3. Proč papír Codex generuje n vzorků s n větším než k?
    • Pro výpočet nezaujatého odhadu s nižším rozptylem pass@k
    • Nechat model poučit se ze svých poruch mezi vzorky
    • Protože testy vyžadují minimálně 200 vstupů
    • Aby byly výstupy modelu deterministické
  4. Při n vzorcích a c správných, který výraz je nezaujatým odhadem pass@k?
    • c děleno n
    • 1 minus (1 minus c/n) k mocnině k
    • C(c, k) děleno C(n, k)
    • 1 minus C(n minus c, k) děleno C(n, k)
  5. Co měří pass^k, definované v tau-bench paper?
    • Šance, že alespoň jeden z k pokusů uspěje
    • Šance, že všech k nezávislých pokusů uspějí
    • Průměrný počet kroků v rámci k pokusů
    • Skóre po k kolech autokorekce
  6. Jak typicky interaguje teplota vzorkování s k?
    • Teplota nemá na pass@k žádný vliv
    • Nízká teplota je nejlepší pro každé k
    • Vyšší teplota má tendenci napomáhat průchodu k při velkém k, protože vzorky jsou rozmanitější
    • Vyšší teplota vždy zlepšuje pass@1
  7. Proč může vysoké skóre pass@100 přehánět užitečnost v reálném světě?
    • Předpokládá to, že něco už ví, který ze vzorků je správný
    • Počítá pouze první vzorek
    • Ignoruje testy jednotek
    • Vždy se počítá s chamtivým dekódováním
  8. Pokud n = 20 vzorků obsahuje c = 18 správných, co je pass@5?
    • 0,9
    • Asi 0,5
    • Nelze jej vypočítat, protože n je příliš malé
    • Přesně 1