Il prossimoProssima guida
Mining negativo online e hard
Tecnico
GUIDA TECNICA
Il campionamento negativo e la stima contrastiva del rumore (NCE) sono trucchi che consentono ai modelli di apprendere su vocabolari enormi senza calcolare un softmax completo e costoso.
Ascolta questa guidaNarrato dall'IA · ~2 min
Instead of scoring every possible output, they teach the model to tell real (positive) examples from a handful of fake (negative) ones.
Quando un vocabolario ha centinaia di migliaia di parole, un normale softmax deve normalizzarsi su ogni parola per ogni fase di allenamento: decisamente troppo lentamente. La stima contrastiva del rumore riformula il problema come classificazione binaria: dato un target e alcuni campioni di "rumore" estratti da una distribuzione nota, imparare a distinguere il campione vero dal rumore, che recupera implicitamente le probabilità desiderate senza normalizzazione esplicita. Il campionamento negativo, reso popolare dal modello skip-gram di word2vec, è un cugino semplificato: per ogni coppia vera (parola, contesto) campiona k negativi e addestra il modello ad assegnare un punteggio alto alla coppia reale e un punteggio basso a quelle false, utilizzando un obiettivo sigmoideo. Entrambi trasformano un costoso problema multiclasse in molti problemi binari economici, rendendo pratico l'addestramento all'inclusione su larga scala. La scelta della distribuzione del rumore (spesso unigramma elevato a 3/4 di potenza) incide fortemente sulla qualità.
word2vec skip-gram con campionamento negativo che apprende incorporamenti di parole da miliardi di token senza un softmax completo.
Modelli linguistici che storicamente utilizzano NCE per addestrare in modo efficiente vocabolari di centinaia di migliaia di parole.
Sistemi di raccomandazione e recupero che campionano elementi "negativi" con cui un utente non ha interagito per addestrare modelli di incorporamento a due torri.
Incorporamenti di grafici e grafici della conoscenza (ad esempio, corruzione della testa o della coda di una tripla) che utilizzano campioni negativi per apprendere le relazioni tra entità.
L’idea centrale – imparare confrontando i positivi con i negativi campionati – è ora alla base del moderno apprendimento con rappresentazione contrastiva e autocontrollata attraverso la visione, il linguaggio e la raccomandazione. Il lavoro futuro si concentrerà sull'hard-negative mining (scegliendo negativi informativi anziché casuali), sul debiasing per i falsi negativi e sul ridimensionamento dei negativi in modo economico tramite grandi banchi di memoria o campionamento in batch. Man mano che i modelli crescono, obiettivi campionati efficienti rimangono essenziali laddove gli spazi di output o gli insiemi di candidati sono enormi, come il recupero e i consiglieri su larga scala.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Il campionamento negativo e la stima contrastiva del rumore (NCE) sono trucchi che consentono ai modelli di apprendere su vocabolari enormi senza calcolare un softmax completo e costoso. Invece di valutare ogni risultato possibile, insegnano al modello a distinguere gli esempi reali (positivi) da una manciata di esempi falsi (negativi).
Entrambi i metodi evitano la normalizzazione su un vasto vocabolario riformulando la formazione come una discriminazione binaria più economica.
NCE addestra il modello a distinguere i campioni reali dai campioni estratti da una distribuzione di rumore nota.
Il campionamento negativo è stato introdotto e reso popolare dalla variante skip-gram di word2vec.
Il campionamento negativo semplifica l'NCE rimuovendo la normalizzazione, scambiando la correttezza probabilistica con velocità e buoni incorporamenti.
L'esponente 0,75 attenua la distribuzione della frequenza in modo che le parole comuni non prevalgano e appaiano ancora parole rare.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Mining negativo online e hard
Tecnico