Műszaki ÚTMUTATÓ

Pass@k Metric Explained

Pass@k annak a valószínűsége, hogy a modellből származó k mintavételi kísérlet közül legalább egy megold egy problémát, amelyet általában úgy ellenőriznek, hogy rejtett egységteszteket futtatnak a generált kódon.

Hallgassa meg ezt az útmutatótAI-narrált · ~3 min

Ezen az oldalon4 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. The Future of Pass@k Metric Explained
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

Ez azért fontos, mert a kód- és ügynök-benchmarkok folyamatosan jelzik ezt, és a pass@10 vagy pass@100 pontszám sokkal jobban néz ki, mint amit a felhasználó egyetlen próbálkozással kap.

Mély merülés

A Pass@k a programszintézis kutatásból nőtt ki, ahol Kulal és munkatársai 2019-ben használták pszeudokódból kódba feladatokhoz, és szabványossá vált a OpenAI 2021-es Codex papírjával, amely bemutatta a HumanEval-t, egy 164 kézzel írott ZXZQAIU1QX programozási problémát tartalmazó készletet. A modell minden feladathoz ír egy függvényt, és a függvény csak akkor számít helyesnek, ha átmegy a rejtett egységteszteken. Pass@k megkérdezi: ha k mintát rajzoltál, mennyi az esély, hogy legalább egy megfelel? A benchmark pontszám az a valószínűség, amelyet az összes problémára átlagolnak. A naiv módszer az, hogy problémánként pontosan k mintát generálunk, és ellenőrizzük, hogy megfelel-e, de ez a becslés nagyon zajos. A Codex papír ehelyett n mintát generál, ahol n nagyobb, mint k (például 200), megszámolja a c helyeseket, és kiszámítja annak valószínűségét, hogy egy k mintából álló véletlenszerű részhalmaz legalább egy helyes mintát tartalmaz: 1 mínusz C(n mínusz c, k) osztva C(n, k)-vel. Ez a becslés elfogulatlan és sokkal kevésbé változó. A c/n 1 mínusz (1 mínusz p) pontba való csatlakoztatásának parancsikonja a k teljesítményhez torzított. A mintavételi hőmérséklet számít. A Pass@1 rendszerint alacsony hőmérsékleten a legjobb, míg a pass@100 számára előnyös a magasabb hőmérséklet, mivel a változatosabb minták növelik annak esélyét, hogy az ember működik. A papírok gyakran más hőmérsékletet választanak minden k-hez. Az ügynök-benchmarkok egy kiegészítő mérőszámot adtak hozzá. A Sierra-tól származó tau-bench tanulmány (2024) meghatározta a pass^k-t, annak a valószínűségét, hogy mind a k független kísérlet sikeres lesz. Inkább a megbízhatóságot méri, mint a képességet. A gyakori félreolvasások közé tartozik az egyik modell pass@1-jének összehasonlítása egy másik pass@1-jével, elfelejtve, hogy a pass@k feltételezi, hogy valami már tudja, melyik minta a helyes, és a mohó dekódoló pass@1-et a mintavételezett pass@1-gyel azonosként kezelik. A gyenge egységtesztek minden pass@k számot felfújnak, ezért az EvalPlus még sok tesztet adott hozzá a HumanEvalhez, és csökkentette a pontszámokat.

Valós megvalósítás

A HumanEval kódmodelljét értékelő csapat feladatonként 200 befejezett mintát vesz fel, megszámolja, hányan felelték meg a teszteket, és az elfogulatlan becslő segítségével jelentik az 1-es, 10-es és 100-as eredményeket.

Az egy javaslatot megjelenítő szerkesztő automatikus kiegészítését a pass@1 alapján kell megítélni, míg egy olyan eszköz, amely öt jelöltet generál, és futtatja a tesztkészletet, hogy kiválaszthasson egy működőt, közelebb áll a pass@5 helyzethez.

Egy ügyfélszolgálati ügynök, amely a próbák 75 százalékán sikeres, jól néz ki a pass@k-n, de ha a próbák függetlenek, akkor a pass^4 pontszáma (mind a négy próba sikeres volt) csak körülbelül 0,32, ami azt mutatja, mennyire megbízhatatlannak érezné magát ismételt használat során.

Egy versenyképes programozási rendszer sok jelölt programot generál, szűri őket a példatesztek alapján, és csak néhányat küld be; jelentett megoldási aránya attól függ, hogy hány beküldést engedélyeztek, ami egy pass@k-stílusú költségvetés.

The Future of Pass@k Metric Explained

Ahogy a modellek az egyszeri kiegészítésekről a többlépcsős ügynökökké váltak, az olyan megbízhatósági mérőszámok, mint a pass^k és a run-to-run konzisztencia egyre nagyobb figyelmet kapnak a pass@k mellett, mivel a felhasználók egy kísérletet tapasztalnak, nem pedig a sok közül a legjobbat. A benchmark szerzők erősebb tesztcsomagokba is fektetnek, mivel a gyenge tesztek helytelen kódot engednek át, és minden mérőszámot felfújnak. A gondos jelentésekben fel kell tüntetni a k ​​értéket, a mintaszámot, a hőmérsékletet és azt, hogy használtak-e bármilyen kiválasztási lépést, de a gyakorlat eltérő, ezért az olvasóknak folyamatosan ellenőrizniük kell ezeket a részleteket, ahelyett, hogy feltételeznék őket.

A gyakorlatba ültetés

Miért számít

  • Költség és költségvetés. Az építészeti döntések évekig növelik a teljesítményt és a működési költségeket.
  • Tisztább döntések. A technikai oktatás segít a csapatoknak a megfelelő verem kiválasztásában, nem csak a legújabb készletben.
  • Minőségellenőrzés. A jobb mérnöki döntések csökkentik a termelés megbízhatósági incidenseit.

Vigyázz

  • Egy benchmark optimalizálása elrejtheti a rendszer általános hiányosságait.
  • Az infrastrukturális és karbantartási költségeket gyakran alábecsülik.
  • A biztonsági és megfigyelhetőségi hiányosságok a rendszerek bonyolultabbá válásával nőhetnek.

Következő lépések

  1. Határozza meg a késleltetési, minőségi és költségcélokat a megvalósítás előtt.
  2. Benchmark reális terhelési és adatviszonyok mellett.
  3. Műszerfigyelés a hibák, az eltolódás és a felhasználói hatások szempontjából.
  4. A méretezés előtt készítse elő a visszagörgetési és az incidensre adott válaszútvonalakat.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the Pass@k Metric Explained quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mi az a Pass@k Metric Explained?

Pass@k annak a valószínűsége, hogy a modellből származó k mintavételi kísérlet közül legalább egy megold egy problémát, amelyet általában úgy ellenőriznek, hogy rejtett egységteszteket futtatnak a generált kódon. Ez azért fontos, mert a kód- és ügynök-benchmarkok folyamatosan jelzik ezt, és a pass@10 vagy pass@100 pontszám sokkal jobban néz ki, mint amit a felhasználó egyetlen próbálkozással kap.

Mit mér a pass@k egyetlen probléma esetén?

Pass@k annak az esélye, hogy k kísérlet közül legalább egy sikeres lesz. A benchmark pontszám átlagolja ezt a valószínűséget az összes probléma tekintetében.

Mit tartalmaz a HumanEval, a Codex papírral bevezetett benchmark?

A HumanEvalnek 164 kézzel írott Python problémája van, mindegyiket rejtett egységteszttel ellenőriztek.

Miért generál a Codex papír n mintát, amelyek n értéke nagyobb, mint k?

Pontosan k minta generálása zajos becslést ad. n minta használata és c helyesek megszámlálása torzítatlan becslést tesz lehetővé sokkal kisebb szórással.

Ha n minta és c helyes, melyik kifejezés a torzítatlan pass@k becslő?

Egy mínusz annak a valószínűsége, hogy egy véletlenszerű k-részhalmaz csak helytelen mintákat tartalmaz. C(c, k)/C(n, k) a pass^k becslő, és a power-k parancsikon torzított.

Mit mér a tau-bench papírban meghatározott pass^k?

A Pass^k minden próba sikeréhez szükséges, ezért a megbízhatóságot méri, ami a sok felhasználót kiszolgáló ügynökök számára fontos.