GUIDA AI FONDAMENTALI

Contaminazione dei benchmark

La contaminazione del benchmark avviene quando domande o risposte da un benchmark di valutazione finiscono nei dati di addestramento di un modello, quindi un punteggio elevato può riflettere la memorizzazione piuttosto che l'abilità reale.

Ascolta questa guidaNarrato dall'IA · ~3 min

In questa pagina4 minuti di lettura
  1. Panoramica
  2. Immersione profonda
  3. Implementazione nel mondo reale
  4. Il futuro della contaminazione dei benchmark
  5. Metterlo in pratica
  6. Continua a esplorare
  7. Domande frequenti

Panoramica

È importante perché i numeri in classifica guidano le affermazioni della ricerca e le decisioni di acquisto, e i punteggi contaminati sopravvalutano il comportamento di un modello rispetto a problemi che non ha mai visto.

Immersione profonda

I modelli linguistici di grandi dimensioni vengono addestrati su testo su scala web che include documenti GitHub, arXiv, forum e siti di tutorial. I benchmark più diffusi sono pubblici per natura, quindi le relative domande, risposte e discussioni vengono copiate sul Web e inserite nei dati di addestramento. La contaminazione può essere diretta, dove appare l'esatto elemento del test, o indiretta, attraverso parafrasi, traduzioni, descrizioni di soluzioni o dati sintetici generati da un altro modello che ha visto il benchmark. Può anche entrare durante la messa a punto se i set di dati delle istruzioni sono stati assemblati da fonti simili a benchmark. Una distinzione utile è tra vedere solo la domanda e vedere la domanda con la sua risposta. Il secondo è più dannoso, perché il modello può ricordare la risposta invece di elaborarla. Il risultato è un punteggio gonfiato che non si trasferisce a nuovi problemi. La consapevolezza del laboratorio non è nuova. Il documento GPT-3 (2020) ha eseguito un'analisi di sovrapposizione di 13 grammi tra i suoi benchmark e i dati di addestramento e ha riconosciuto che un bug lasciava alcune sovrapposizioni. Quando sono disponibili dati di addestramento, la ricerca di sovrapposizione è il controllo più diretto. In caso contrario, i ricercatori utilizzano metodi indiretti: sollecitando il modello con l'inizio di un elemento di test per vedere se completa il resto alla lettera; metodi di inferenza sull'appartenenza come Min-K% Prob (Shi e colleghi, 2023), che esaminano con quanta sicurezza un modello predice i token di un testo; confrontare i punteggi degli elementi originali con equivalenti riscritti o appena scritti; e suddivisioni basate sul tempo che confrontano i problemi creati prima e dopo il termine della formazione. Sono comuni due malintesi. Innanzitutto, la sovrapposizione non sempre aumenta molto i punteggi; alcuni studi riscontrano effetti modesti su determinati compiti. In secondo luogo, non trovare alcuna sovrapposizione esatta non dimostra che un benchmark sia pulito, perché le copie parafrasate o tradotte sfuggono alla corrispondenza delle stringhe. Le mitigazioni includono set di test privati, stringhe canary, benchmark regolarmente aggiornati come LiveBench e LiveCodeBench, filtri di decontaminazione e pubblicazione di analisi di contaminazione insieme ai risultati.

Implementazione nel mondo reale

I problemi di un benchmark matematico vengono ripubblicati sui forum con soluzioni funzionanti; una scansione web raccoglie quelle pagine e un modello addestrato su di esse successivamente riproduce le risposte esatte, inclusa una stranezza nella formulazione originale.

I ricercatori di Scale AI hanno scritto GSM1k, nuovi problemi di matematica per le scuole elementari abbinati a GSM8K per stile e difficoltà, e hanno scoperto che alcuni modelli hanno ottenuto punteggi notevolmente più bassi nel nuovo set, un segno di adattamento eccessivo al benchmark pubblico.

Un benchmark di codifica che data ogni problema mostra un modello che risolve molti più problemi pubblicati prima del termine dell'addestramento rispetto a dopo, che è il modello per cui LiveCodeBench è stato progettato per esporre.

Le attività del BIG-bench includono una stringa canary univoca in modo che i team di dati possano filtrare qualsiasi documento che la contenga dai corpora di formazione e successivamente verificare se un modello può riprodurla.

Il futuro della contaminazione dei benchmark

La pratica di valutazione si sta spostando verso set di test privati ​​o parzialmente privati, benchmark che aggiungono nuovi elementi nel tempo e valutatori di terze parti che controllano i dati dei test. Ciò crea una reale tensione con l’apertura, poiché i parametri di riferimento pubblici sono facili da riprodurre e verificare. Una maggiore trasparenza sui dati di addestramento renderebbe molto più semplici i controlli sulla contaminazione, ma molti sviluppatori di modelli non pubblicano i dettagli completi dei dati. I lettori dovrebbero trattare ogni singolo punteggio di benchmark statico con cautela e cercare risultati su dati nuovi o non disponibili prima di trarre conclusioni forti.

Metterlo in pratica

Perché è importante

  • Decisioni più chiare. Ti aiuta a separare le chiare affermazioni tecniche dal linguaggio di marketing.
  • Costo e budget. Puoi porre domande sull'implementazione migliore prima di spendere denaro o tempo.
  • Team e flusso di lavoro. I team con una comprensione condivisa prendono decisioni migliori su prodotti, politiche e apprendimento.

Attenzione

  • Team diversi possono utilizzare lo stesso termine in modo diverso, quindi definisci l'ambito in anticipo.
  • I benchmark possono sembrare solidi mentre le prestazioni nel mondo reale non sono uniformi.
  • Ignorare la qualità dei dati e i piani di valutazione spesso crea risultati fragili.

Prossimi passi

  1. Inizia con una definizione in linguaggio semplice del risultato di cui hai bisogno.
  2. Scegli una metrica di successo e una condizione di fallimento prima del test.
  3. Esegui un piccolo progetto pilota con dati rappresentativi, non un set demo raffinato.
  4. Documentare dove la contaminazione del benchmark aiuta e dove i metodi più semplici sono migliori.

Continua a esplorare

Newsletter gratuita

Ricevi il briefing quotidiano sull'IA

Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.

Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.

Mettiti alla prova

Take the Benchmark Contamination quiz

Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.

Inizia il quiz

Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione

Domande frequenti

Cos'è la contaminazione dei benchmark?

La contaminazione del benchmark avviene quando domande o risposte da un benchmark di valutazione finiscono nei dati di addestramento di un modello, quindi un punteggio elevato può riflettere la memorizzazione piuttosto che l'abilità reale. È importante perché i numeri in classifica guidano le affermazioni della ricerca e le decisioni di acquisto, e i punteggi contaminati sopravvalutano il comportamento di un modello rispetto a problemi che non ha mai visto.

Cos'è la contaminazione di riferimento?

Contaminazione significa che il modello potrebbe aver visto materiale di prova durante l'addestramento, quindi il suo punteggio può riflettere la memorizzazione.

Qual è lo scopo del canary string incluso nei compiti BIG-bench?

Un identificatore univoco semplifica la ricerca e la rimozione del testo di riferimento dai corpora e la verifica se un modello lo ha memorizzato.

Cosa ha suggerito lo studio GSM1k?

Un calo nel numero di nuovi problemi abbinati per stile e difficoltà indica un adattamento eccessivo al benchmark pubblico piuttosto che un'abilità matematica generale.

Quale analisi di sovrapposizione è stata eseguita nel documento GPT-3?

Gli autori di GPT-3 hanno controllato la sovrapposizione di 13 grammi e hanno riconosciuto un bug che lasciava alcune sovrapposizioni non rimosse.

Qual è l'idea centrale di Min-K% Prob?

Il metodo calcola la media della k percentuale più bassa delle probabilità di log dei token; il testo memorizzato ottiene punteggi insolitamente alti perché poco in esso sorprende il modello.