Il prossimoProssima guida
Benchmark dell'intelligenza artificiale
Tecnico
GUIDA AI FONDAMENTALI
La contaminazione del benchmark avviene quando domande o risposte da un benchmark di valutazione finiscono nei dati di addestramento di un modello, quindi un punteggio elevato può riflettere la memorizzazione piuttosto che l'abilità reale.
Ascolta questa guidaNarrato dall'IA · ~3 min
È importante perché i numeri in classifica guidano le affermazioni della ricerca e le decisioni di acquisto, e i punteggi contaminati sopravvalutano il comportamento di un modello rispetto a problemi che non ha mai visto.
I modelli linguistici di grandi dimensioni vengono addestrati su testo su scala web che include documenti GitHub, arXiv, forum e siti di tutorial. I benchmark più diffusi sono pubblici per natura, quindi le relative domande, risposte e discussioni vengono copiate sul Web e inserite nei dati di addestramento. La contaminazione può essere diretta, dove appare l'esatto elemento del test, o indiretta, attraverso parafrasi, traduzioni, descrizioni di soluzioni o dati sintetici generati da un altro modello che ha visto il benchmark. Può anche entrare durante la messa a punto se i set di dati delle istruzioni sono stati assemblati da fonti simili a benchmark. Una distinzione utile è tra vedere solo la domanda e vedere la domanda con la sua risposta. Il secondo è più dannoso, perché il modello può ricordare la risposta invece di elaborarla. Il risultato è un punteggio gonfiato che non si trasferisce a nuovi problemi. La consapevolezza del laboratorio non è nuova. Il documento GPT-3 (2020) ha eseguito un'analisi di sovrapposizione di 13 grammi tra i suoi benchmark e i dati di addestramento e ha riconosciuto che un bug lasciava alcune sovrapposizioni. Quando sono disponibili dati di addestramento, la ricerca di sovrapposizione è il controllo più diretto. In caso contrario, i ricercatori utilizzano metodi indiretti: sollecitando il modello con l'inizio di un elemento di test per vedere se completa il resto alla lettera; metodi di inferenza sull'appartenenza come Min-K% Prob (Shi e colleghi, 2023), che esaminano con quanta sicurezza un modello predice i token di un testo; confrontare i punteggi degli elementi originali con equivalenti riscritti o appena scritti; e suddivisioni basate sul tempo che confrontano i problemi creati prima e dopo il termine della formazione. Sono comuni due malintesi. Innanzitutto, la sovrapposizione non sempre aumenta molto i punteggi; alcuni studi riscontrano effetti modesti su determinati compiti. In secondo luogo, non trovare alcuna sovrapposizione esatta non dimostra che un benchmark sia pulito, perché le copie parafrasate o tradotte sfuggono alla corrispondenza delle stringhe. Le mitigazioni includono set di test privati, stringhe canary, benchmark regolarmente aggiornati come LiveBench e LiveCodeBench, filtri di decontaminazione e pubblicazione di analisi di contaminazione insieme ai risultati.
I problemi di un benchmark matematico vengono ripubblicati sui forum con soluzioni funzionanti; una scansione web raccoglie quelle pagine e un modello addestrato su di esse successivamente riproduce le risposte esatte, inclusa una stranezza nella formulazione originale.
I ricercatori di Scale AI hanno scritto GSM1k, nuovi problemi di matematica per le scuole elementari abbinati a GSM8K per stile e difficoltà, e hanno scoperto che alcuni modelli hanno ottenuto punteggi notevolmente più bassi nel nuovo set, un segno di adattamento eccessivo al benchmark pubblico.
Un benchmark di codifica che data ogni problema mostra un modello che risolve molti più problemi pubblicati prima del termine dell'addestramento rispetto a dopo, che è il modello per cui LiveCodeBench è stato progettato per esporre.
Le attività del BIG-bench includono una stringa canary univoca in modo che i team di dati possano filtrare qualsiasi documento che la contenga dai corpora di formazione e successivamente verificare se un modello può riprodurla.
La pratica di valutazione si sta spostando verso set di test privati o parzialmente privati, benchmark che aggiungono nuovi elementi nel tempo e valutatori di terze parti che controllano i dati dei test. Ciò crea una reale tensione con l’apertura, poiché i parametri di riferimento pubblici sono facili da riprodurre e verificare. Una maggiore trasparenza sui dati di addestramento renderebbe molto più semplici i controlli sulla contaminazione, ma molti sviluppatori di modelli non pubblicano i dettagli completi dei dati. I lettori dovrebbero trattare ogni singolo punteggio di benchmark statico con cautela e cercare risultati su dati nuovi o non disponibili prima di trarre conclusioni forti.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
La contaminazione del benchmark avviene quando domande o risposte da un benchmark di valutazione finiscono nei dati di addestramento di un modello, quindi un punteggio elevato può riflettere la memorizzazione piuttosto che l'abilità reale. È importante perché i numeri in classifica guidano le affermazioni della ricerca e le decisioni di acquisto, e i punteggi contaminati sopravvalutano il comportamento di un modello rispetto a problemi che non ha mai visto.
Contaminazione significa che il modello potrebbe aver visto materiale di prova durante l'addestramento, quindi il suo punteggio può riflettere la memorizzazione.
Un identificatore univoco semplifica la ricerca e la rimozione del testo di riferimento dai corpora e la verifica se un modello lo ha memorizzato.
Un calo nel numero di nuovi problemi abbinati per stile e difficoltà indica un adattamento eccessivo al benchmark pubblico piuttosto che un'abilità matematica generale.
Gli autori di GPT-3 hanno controllato la sovrapposizione di 13 grammi e hanno riconosciuto un bug che lasciava alcune sovrapposizioni non rimosse.
Il metodo calcola la media della k percentuale più bassa delle probabilità di log dei token; il testo memorizzato ottiene punteggi insolitamente alti perché poco in esso sorprende il modello.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Benchmark dell'intelligenza artificiale
Tecnico