LegközelebbKövetkező útmutató
RAG értékelési metrikák és RAGAS
Műszaki
Műszaki ÚTMUTATÓ
Pass@k annak a valószínűsége, hogy a modellből származó k mintavételi kísérlet közül legalább egy megold egy problémát, amelyet általában úgy ellenőriznek, hogy rejtett egységteszteket futtatnak a generált kódon.
Hallgassa meg ezt az útmutatótAI-narrált · ~3 min
Ez azért fontos, mert a kód- és ügynök-benchmarkok folyamatosan jelzik ezt, és a pass@10 vagy pass@100 pontszám sokkal jobban néz ki, mint amit a felhasználó egyetlen próbálkozással kap.
A Pass@k a programszintézis kutatásból nőtt ki, ahol Kulal és munkatársai 2019-ben használták pszeudokódból kódba feladatokhoz, és szabványossá vált a OpenAI 2021-es Codex papírjával, amely bemutatta a HumanEval-t, egy 164 kézzel írott ZXZQAIU1QX programozási problémát tartalmazó készletet. A modell minden feladathoz ír egy függvényt, és a függvény csak akkor számít helyesnek, ha átmegy a rejtett egységteszteken. Pass@k megkérdezi: ha k mintát rajzoltál, mennyi az esély, hogy legalább egy megfelel? A benchmark pontszám az a valószínűség, amelyet az összes problémára átlagolnak. A naiv módszer az, hogy problémánként pontosan k mintát generálunk, és ellenőrizzük, hogy megfelel-e, de ez a becslés nagyon zajos. A Codex papír ehelyett n mintát generál, ahol n nagyobb, mint k (például 200), megszámolja a c helyeseket, és kiszámítja annak valószínűségét, hogy egy k mintából álló véletlenszerű részhalmaz legalább egy helyes mintát tartalmaz: 1 mínusz C(n mínusz c, k) osztva C(n, k)-vel. Ez a becslés elfogulatlan és sokkal kevésbé változó. A c/n 1 mínusz (1 mínusz p) pontba való csatlakoztatásának parancsikonja a k teljesítményhez torzított. A mintavételi hőmérséklet számít. A Pass@1 rendszerint alacsony hőmérsékleten a legjobb, míg a pass@100 számára előnyös a magasabb hőmérséklet, mivel a változatosabb minták növelik annak esélyét, hogy az ember működik. A papírok gyakran más hőmérsékletet választanak minden k-hez. Az ügynök-benchmarkok egy kiegészítő mérőszámot adtak hozzá. A Sierra-tól származó tau-bench tanulmány (2024) meghatározta a pass^k-t, annak a valószínűségét, hogy mind a k független kísérlet sikeres lesz. Inkább a megbízhatóságot méri, mint a képességet. A gyakori félreolvasások közé tartozik az egyik modell pass@1-jének összehasonlítása egy másik pass@1-jével, elfelejtve, hogy a pass@k feltételezi, hogy valami már tudja, melyik minta a helyes, és a mohó dekódoló pass@1-et a mintavételezett pass@1-gyel azonosként kezelik. A gyenge egységtesztek minden pass@k számot felfújnak, ezért az EvalPlus még sok tesztet adott hozzá a HumanEvalhez, és csökkentette a pontszámokat.
A HumanEval kódmodelljét értékelő csapat feladatonként 200 befejezett mintát vesz fel, megszámolja, hányan felelték meg a teszteket, és az elfogulatlan becslő segítségével jelentik az 1-es, 10-es és 100-as eredményeket.
Az egy javaslatot megjelenítő szerkesztő automatikus kiegészítését a pass@1 alapján kell megítélni, míg egy olyan eszköz, amely öt jelöltet generál, és futtatja a tesztkészletet, hogy kiválaszthasson egy működőt, közelebb áll a pass@5 helyzethez.
Egy ügyfélszolgálati ügynök, amely a próbák 75 százalékán sikeres, jól néz ki a pass@k-n, de ha a próbák függetlenek, akkor a pass^4 pontszáma (mind a négy próba sikeres volt) csak körülbelül 0,32, ami azt mutatja, mennyire megbízhatatlannak érezné magát ismételt használat során.
Egy versenyképes programozási rendszer sok jelölt programot generál, szűri őket a példatesztek alapján, és csak néhányat küld be; jelentett megoldási aránya attól függ, hogy hány beküldést engedélyeztek, ami egy pass@k-stílusú költségvetés.
Ahogy a modellek az egyszeri kiegészítésekről a többlépcsős ügynökökké váltak, az olyan megbízhatósági mérőszámok, mint a pass^k és a run-to-run konzisztencia egyre nagyobb figyelmet kapnak a pass@k mellett, mivel a felhasználók egy kísérletet tapasztalnak, nem pedig a sok közül a legjobbat. A benchmark szerzők erősebb tesztcsomagokba is fektetnek, mivel a gyenge tesztek helytelen kódot engednek át, és minden mérőszámot felfújnak. A gondos jelentésekben fel kell tüntetni a k értéket, a mintaszámot, a hőmérsékletet és azt, hogy használtak-e bármilyen kiválasztási lépést, de a gyakorlat eltérő, ezért az olvasóknak folyamatosan ellenőrizniük kell ezeket a részleteket, ahelyett, hogy feltételeznék őket.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
Pass@k annak a valószínűsége, hogy a modellből származó k mintavételi kísérlet közül legalább egy megold egy problémát, amelyet általában úgy ellenőriznek, hogy rejtett egységteszteket futtatnak a generált kódon. Ez azért fontos, mert a kód- és ügynök-benchmarkok folyamatosan jelzik ezt, és a pass@10 vagy pass@100 pontszám sokkal jobban néz ki, mint amit a felhasználó egyetlen próbálkozással kap.
Pass@k annak az esélye, hogy k kísérlet közül legalább egy sikeres lesz. A benchmark pontszám átlagolja ezt a valószínűséget az összes probléma tekintetében.
A HumanEvalnek 164 kézzel írott Python problémája van, mindegyiket rejtett egységteszttel ellenőriztek.
Pontosan k minta generálása zajos becslést ad. n minta használata és c helyesek megszámlálása torzítatlan becslést tesz lehetővé sokkal kisebb szórással.
Egy mínusz annak a valószínűsége, hogy egy véletlenszerű k-részhalmaz csak helytelen mintákat tartalmaz. C(c, k)/C(n, k) a pass^k becslő, és a power-k parancsikon torzított.
A Pass^k minden próba sikeréhez szükséges, ezért a megbízhatóságot méri, ami a sok felhasználót kiszolgáló ügynökök számára fontos.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
RAG értékelési metrikák és RAGAS
Műszaki