PRŮVODCE Základy

Srovnávací kontaminace

Ke kontaminaci benchmarku dochází, když otázky nebo odpovědi z hodnotícího benchmarku skončí v tréninkových datech modelu, takže vysoké skóre může odrážet zapamatování spíše než skutečné schopnosti.

Poslechněte si tento návodAI-vyprávěný · ~3 min

Na této stránce4 min čtení
  1. Přehled
  2. Hluboký ponor
  3. Real-World Implementace
  4. Budoucnost benchmarkové kontaminace
  5. Uvedení do praxe
  6. Pokračujte v objevování
  7. Často kladené otázky

Přehled

Záleží na tom, protože čísla ve výsledkových tabulkách řídí požadavky na výzkum a nákupní rozhodnutí a kontaminovaná skóre přehánějí, jak si model povede v problémech, které nikdy neviděl.

Hluboký ponor

Large language models are trained on web-scale text that includes GitHub, arXiv papers, forums and tutorial sites. Popular benchmarks are public by design, so their questions, answers and discussions of them get copied across the web and swept into training data. Contamination can be direct, where the exact test item appears, or indirect, through paraphrases, translations, solution write-ups, or synthetic data generated by another model that had seen the benchmark. It can also enter during fine-tuning if instruction datasets were assembled from benchmark-like sources. A useful distinction is between seeing only the question and seeing the question with its answer. The second is more damaging, because the model can recall the answer instead of working it out. The result is an inflated score that does not transfer to new problems. Lab awareness is not new. The GPT-3 paper (2020) ran a 13-gram overlap analysis between its benchmarks and training data and acknowledged that a bug left some overlaps in place. When training data is available, overlap search is the most direct check. When it is not, researchers use indirect methods: prompting the model with the start of a test item to see if it completes the rest verbatim; membership inference methods such as Min-K% Prob (Shi and colleagues, 2023), which look at how confidently a model predicts a text's tokens; comparing scores on original items against rewritten or newly written equivalents; and time-based splits that compare problems created before and after the training cutoff. Two misconceptions are common. First, overlap does not always raise scores much; some studies find modest effects on certain tasks. Second, finding no exact overlap does not prove a benchmark is clean, because paraphrased or translated copies slip past string matching. Mitigations include private held-out test sets, canary strings, regularly refreshed benchmarks such as LiveBench and LiveCodeBench, decontamination filters, and publishing contamination analyses alongside results.

Real-World Implementace

Problémy matematického benchmarku jsou znovu zveřejněny na fórech s funkčními řešeními; procházení webu tyto stránky shromáždí a model na něm vyškolený později reprodukuje přesné odpovědi, včetně vtipu v původním znění.

Výzkumníci ze Scale AI napsali GSM1k, nové matematické problémy pro základní školy, které se stylem a obtížností shodují s GSM8K, a zjistili, že některé modely dosáhly znatelně nižšího skóre na nové sadě, což je známka přehnaného přizpůsobení veřejnému benchmarku.

Srovnávací test kódování, který datuje každý problém, ukazuje model řešící mnohem více problémů publikovaných před ukončením tréninku než po něm, což je vzor, ​​který byl LiveCodeBench navržen, aby odhalil.

Úlohy BIG-bench obsahují unikátní kanárkový řetězec, takže datové týmy mohou odfiltrovat jakýkoli dokument, který jej obsahuje, z trénovacích korpusů a později zkontrolovat, zda jej model dokáže reprodukovat.

Budoucnost benchmarkové kontaminace

Postup hodnocení se posouvá směrem k soukromým nebo částečně soukromým testovacím sadám, benchmarkům, které časem přidávají nové položky, a externím hodnotitelům, kteří kontrolují testovací data. To vytváří skutečné napětí s otevřeností, protože veřejné benchmarky lze snadno reprodukovat a kontrolovat. Větší transparentnost údajů o školení by výrazně usnadnila kontroly kontaminace, ale mnoho vývojářů modelů nezveřejňuje úplné údaje o datech. Čtenáři by měli zacházet s každým jednotlivým statickým srovnávacím skóre opatrně a hledat výsledky na čerstvých nebo pozdržených datech, než vyvodí silné závěry.

Uvedení do praxe

Proč na tom záleží

  • Jasnější rozhodnutí. Pomůže vám oddělit jasná technická tvrzení od marketingového jazyka.
  • Cena a rozpočet. Než utratíte peníze nebo čas, můžete se zeptat na lepší implementační otázky.
  • Tým a pracovní postup. Týmy se sdíleným porozuměním dělají lepší rozhodnutí o produktech, zásadách a učení.

Pozor na

  • Různé týmy mohou používat stejný termín odlišně, proto definujte rozsah včas.
  • Srovnávací testy mohou vypadat dobře, zatímco výkon v reálném světě je nerovnoměrný.
  • Ignorování kvality dat a plánů hodnocení často vytváří křehké výsledky.

Další kroky

  1. Začněte s jasnou definicí výsledku, který potřebujete.
  2. Před testováním vyberte jednu metriku úspěchu a jednu podmínku selhání.
  3. Spusťte malý pilotní projekt s reprezentativními údaji, nikoli leštěnou ukázkovou sadu.
  4. Zdokumentujte, kde pomáhá kontaminace benchmarkem a kde jsou jednodušší metody lepší.

Pokračujte v objevování

Newsletter zdarma

Získejte denní přehled o AI

Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.

Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.

Otestujte se

Udělejte si kvíz Benchmark Contamination

Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.

Spustit kvíz

Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte

Často kladené otázky

Co je to benchmarková kontaminace?

Ke kontaminaci benchmarku dochází, když otázky nebo odpovědi z hodnotícího benchmarku skončí v tréninkových datech modelu, takže vysoké skóre může odrážet zapamatování spíše než skutečné schopnosti. Záleží na tom, protože čísla ve výsledkových tabulkách řídí požadavky na výzkum a nákupní rozhodnutí a kontaminovaná skóre přehánějí, jak si model povede v problémech, které nikdy neviděl.

Co je referenční kontaminace?

Kontaminace znamená, že model mohl vidět testovací materiál během tréninku, takže jeho skóre může odrážet zapamatování.

K čemu slouží kanárkový řetězec obsažený v úlohách BIG-bench?

Jedinečný identifikátor usnadňuje vyhledání a odstranění srovnávacího textu z korpusů a zjištění, zda si jej model zapamatoval.

Co naznačila studie GSM1k?

Pokles nových problémů ve stylu a obtížnosti ukazuje na přehnané přizpůsobení veřejnému benchmarku spíše než obecné matematické dovednosti.

Jakou analýzu překrývání provedl papír GPT-3?

Autoři GPT-3 zkontrolovali 13gramové překrytí a uznali chybu, která ponechala některé překryvy neodstraněné.

Jaká je hlavní myšlenka Min-K% Prob?

Metoda zprůměruje nejnižší k procent logaritmických pravděpodobností tokenů; zapamatovaný text má neobvykle vysoké skóre, protože jen málo z něj model překvapí.