Il prossimoProssima guida
Valutazione dei modelli online vs offline
Tecnico
GUIDA TECNICA
L'inclinazione dell'addestramento/servizio si verifica quando le funzionalità che un modello apprende offline differiscono dalle funzionalità che riceve effettivamente in produzione, distruggendo silenziosamente la precisione.
Ascolta questa guidaNarrato dall'IA · ~2 min
Individuare e prevenire questa discrepanza è uno dei compiti più difficili e importanti nel machine learning nel mondo reale.
I modelli vengono addestrati "offline" su grandi batch di dati storici, quindi forniscono previsioni "online" in tempo reale. L'inclinazione si verifica quando questi due percorsi calcolano le caratteristiche in modo diverso. Cause comuni: codice separato (lavoro batch Python rispetto al servizio di servizio Java) che sottilmente non è d'accordo; perdita di tempo, in cui l'allenamento offline utilizza accidentalmente informazioni che non erano ancora disponibili al momento della previsione; e funzionalità online obsolete, in cui un valore come "ordini nell'ultima ora" viene memorizzato nella cache e diventa obsoleto. Il modello ha un bell'aspetto nella valutazione offline, ma ha prestazioni inferiori dal vivo perché gli input che vede non corrispondono più a ciò su cui è stato addestrato. Il rilevamento dell'asimmetria richiede la registrazione delle esatte funzionalità offerte online e il confronto delle loro distribuzioni con il set di addestramento, evitando al contempo che ciò favorisca un'unica definizione condivisa per entrambi i percorsi.
Un'app di ride-sharing rileva che il suo modello ETA è degradato in tempo reale perché la funzione online "traffico corrente" è stata memorizzata nella cache per 10 minuti mentre l'allenamento utilizzava valori nuovi.
Un team antifrode scopre che la precisione offline è stata gonfiata da fughe di notizie: la formazione ha aggiunto un flag di "storno di addebito" che esiste solo dopo la transazione prevista.
Un team della piattaforma ML registra ogni funzionalità servita in produzione ed esegue lavori notturni confrontandone la distribuzione con i dati di addestramento per avvisare in caso di disallineamento.
Un team di consigli riduce la distorsione dell'implementazione condividendo le definizioni delle funzionalità, quindi testa i timestamp e l'aggiornamento sia nella formazione che nella pubblicazione.
I team possono migliorare la parità delle funzionalità registrando le versioni di trasformazione, gli orari degli eventi, i tempi di disponibilità e l'aggiornamento online. Le definizioni condivise e i controlli log-and-replay aiutano a indagare sulle discrepanze, ma necessitano di test in condizioni reali di batch e streaming. Gli avvisi di distribuzione dovrebbero portare a indagini piuttosto che a un'affermazione automatica secondo cui il codice di pubblicazione è sbagliato.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
L'inclinazione dell'addestramento/servizio si verifica quando le funzionalità che un modello apprende offline differiscono dalle funzionalità che riceve effettivamente in produzione, distruggendo silenziosamente la precisione. Individuare e prevenire questa discrepanza è uno dei compiti più difficili e importanti nel machine learning nel mondo reale.
L'inclinazione è una mancata corrispondenza tra i valori delle caratteristiche che un modello ha appreso offline e i valori che riceve effettivamente quando effettua previsioni in tempo reale.
Una riga storica non deve ricevere informazioni future. Il recupero point-in-time con timestamp aiuta a far rispettare tale vincolo quando i dati registrano correttamente la disponibilità.
Il monitoraggio della distribuzione segnala le modifiche, ma sono necessari confronti dei valori temporali per distinguere una mancata corrispondenza di calcolo dai cambiamenti nella popolazione.
Se il valore memorizzato nella cache non è aggiornato al momento della pubblicazione, il modello riceve un input diverso rispetto a quello che riceverebbe durante l'addestramento, creando una distorsione.
Le definizioni condivise riducono un’importante fonte di distorsione. Non rimuovono le cache obsolete, i dati di origine diversi o gli errori di disponibilità temporale.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Valutazione dei modelli online vs offline
Tecnico