VolgendeVolgende gids
Online en harde negatieve mijnbouw
Technisch
Technische GIDS
Negatieve sampling en Noise Contrastive Estimation (NCE) zijn trucs waarmee modellen enorme vocabulaires kunnen leren zonder een dure volledige softmax te hoeven berekenen.
Luister naar deze gidsAI-verteld · ~2 min
Instead of scoring every possible output, they teach the model to tell real (positive) examples from a handful of fake (negative) ones.
Als een vocabulaire honderdduizenden woorden bevat, moet een normale softmax zich bij elke trainingsstap over elk woord normaliseren – veel te langzaam. Noise Contrastive Estimation herformuleert het probleem als binaire classificatie: gegeven een doel en een paar 'ruis'-samples getrokken uit een bekende distributie, leer je het echte monster te onderscheiden van de ruis, die impliciet de gewenste kansen herstelt zonder expliciete normalisatie. Negatieve bemonstering, gepopulariseerd door het skip-gram-model van word2vec, is een vereenvoudigde neef: voor elk waar (woord, context) paar worden k negatieven bemonsterd en wordt het model getraind om een hoge score toe te kennen aan het echte paar en een lage score aan de vervalsingen, met behulp van een sigmoïde doelstelling. Beiden maken van een duur probleem met meerdere klassen een groot aantal goedkope binaire problemen, waardoor grootschalige inbeddingstraining praktisch wordt. De keuze van de ruisverdeling (vaak unigram verheven tot de 3/4 macht) heeft een sterke invloed op de kwaliteit.
word2vec slaat gram over met negatieve bemonstering en leert woordinsluitingen van miljarden tokens zonder een volledige softmax.
Taalmodellen gebruiken NCE historisch gezien om vocabulaires van honderdduizenden woorden efficiënt te trainen.
Aanbevelings- en ophaalsystemen bemonsteren 'negatieve' items waarmee een gebruiker geen interactie heeft gehad om inbeddingsmodellen met twee torens te trainen.
Inbedding van grafieken en kennisgrafieken (bijvoorbeeld het corrumperen van de kop of staart van een triple) met behulp van negatieve steekproeven om entiteitsrelaties te leren.
Het kernidee – leren door positieve dingen te contrasteren met verzamelde negatieven – ligt nu ten grondslag aan het moderne, zelfgecontroleerde en contrastieve representatieleren via visie, taal en aanbeveling. Toekomstig werk richt zich op hard-negatieve mining (het kiezen van informatieve negatieven in plaats van willekeurige), het ondermijnen van valse negatieven en het goedkoop schalen van negatieven via grote geheugenbanken of in-batch sampling. Naarmate de modellen groeien, blijven efficiënte bemonsterde doelstellingen essentieel overal waar de uitvoerruimten of kandidaatsets enorm zijn, zoals retrieval en grootschalige aanbeveling.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Negatieve sampling en Noise Contrastive Estimation (NCE) zijn trucs waarmee modellen enorme vocabulaires kunnen leren zonder een dure volledige softmax te hoeven berekenen. In plaats van elke mogelijke output te scoren, leren ze het model om echte (positieve) voorbeelden te onderscheiden van een handvol valse (negatieve) voorbeelden.
Beide methoden vermijden het normaliseren van een enorm vocabulaire door training te herformuleren als goedkopere binaire discriminatie.
NCE traint het model om echte monsters te onderscheiden van monsters die zijn getrokken uit een bekende ruisverdeling.
Negatieve steekproeven werden geïntroduceerd en gepopulariseerd door de skip-gram-variant van word2vec.
Negatieve steekproeven vereenvoudigen de NVU door normalisatie te elimineren en probabilistische correctheid in te ruilen voor snelheid en goede inbedding.
De exponent van 0,75 vlakt de frequentieverdeling af, zodat gewone woorden niet domineren en zeldzame woorden nog steeds verschijnen.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Online en harde negatieve mijnbouw
Technisch