Kvíz spojený s průvodcem · Střední úroveň
Pass@k metrický kvíz s vysvětlením
Testuje definici pass@k, nezaujatý odhad z n vzorků, spolehlivost pass^k a běžné způsoby, jak se skóre pass@k špatně čte nebo nafukuje.
Otázka 1 z 8
Co měří pass@k pro jeden problém?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Co měří pass@k pro jeden problém?
- Zlomek k vzorků, které projdou testy
- Pravděpodobnost, že alespoň jeden z k vzorkovaných pokusů projde testy
- Pravděpodobnost, že první pokus projde po k opakováních jemného doladění
- Počet úspěšných testů z k testů
- Co obsahuje HumanEval, benchmark představený s papírem Codex?
- 2 294 vydání GitHub z projektů Python
- 1000 problémů s konkurenčním programováním v C++
- 164 ručně psaných problémů s programováním Python s jednotkovými testy
- 500 hlášení o chybách ověřených lidmi
- Proč papír Codex generuje n vzorků s n větším než k?
- Pro výpočet nezaujatého odhadu s nižším rozptylem pass@k
- Nechat model poučit se ze svých poruch mezi vzorky
- Protože testy vyžadují minimálně 200 vstupů
- Aby byly výstupy modelu deterministické
- Při n vzorcích a c správných, který výraz je nezaujatým odhadem pass@k?
- c děleno n
- 1 minus (1 minus c/n) k mocnině k
- C(c, k) děleno C(n, k)
- 1 minus C(n minus c, k) děleno C(n, k)
- Co měří pass^k, definované v tau-bench paper?
- Šance, že alespoň jeden z k pokusů uspěje
- Šance, že všech k nezávislých pokusů uspějí
- Průměrný počet kroků v rámci k pokusů
- Skóre po k kolech autokorekce
- Jak typicky interaguje teplota vzorkování s k?
- Teplota nemá na pass@k žádný vliv
- Nízká teplota je nejlepší pro každé k
- Vyšší teplota má tendenci napomáhat průchodu k při velkém k, protože vzorky jsou rozmanitější
- Vyšší teplota vždy zlepšuje pass@1
- Proč může vysoké skóre pass@100 přehánět užitečnost v reálném světě?
- Předpokládá to, že něco už ví, který ze vzorků je správný
- Počítá pouze první vzorek
- Ignoruje testy jednotek
- Vždy se počítá s chamtivým dekódováním
- Pokud n = 20 vzorků obsahuje c = 18 správných, co je pass@5?
- 0,9
- Asi 0,5
- Nelze jej vypočítat, protože n je příliš malé
- Přesně 1