LegközelebbKövetkező útmutató
Online és kemény negatív bányászat
Műszaki
Műszaki ÚTMUTATÓ
A negatív mintavétel és a Noise Contrastive Estimation (NCE) olyan trükkök, amelyek segítségével a modellek hatalmas szókincseket tanulhatnak anélkül, hogy költséges teljes softmaxot kellene kiszámítani.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Instead of scoring every possible output, they teach the model to tell real (positive) examples from a handful of fake (negative) ones.
Ha egy szókincs több százezer szót tartalmaz, a normál softmax-nak minden egyes képzési lépésnél minden szóra normalizálnia kell – túl lassú. A Noise Contrastive Estimation a problémát bináris osztályozásként fogalmazza meg: adott egy cél és néhány ismert eloszlásból vett „zajminta”, tanulja meg megkülönböztetni a valódi mintát a zajtól, amely implicit módon helyreállítja a kívánt valószínűségeket explicit normalizálás nélkül. A word2vec skip-gram modellje által népszerűsített negatív mintavétel egy leegyszerűsített rokona: minden igaz (szó, kontextus) párnál k negatívot vesz mintát, és megtanítja a modellt, hogy szigmoid objektív segítségével magas pontszámot rendeljen a valódi párhoz, alacsony pontszámot pedig a hamisítványokhoz. Mindkettő egy drága többosztályú problémát sok olcsó bináris problémává alakít át, praktikussá téve a nagyszabású beágyazási képzést. A zajeloszlás megválasztása (gyakran a 3/4-es teljesítményre emelt unigrammal) erősen befolyásolja a minőséget.
word2vec skip-gram negatív mintavételezéssel, szóbeágyazások tanulása több milliárd tokenből teljes softmax nélkül.
A nyelvi modellek történelmileg az NCE-t használták több százezer szóból álló szókincs hatékony képzésére.
A kéttornyos beágyazási modellek betanítása érdekében a felhasználó által nem használt „negatív” elemekből mintavételező ajánló és visszakereső rendszerek.
Grafikonok és tudásgráfok beágyazása (pl. hármas fejének vagy farkának elrontása) negatív minták használatával az entitásviszonyok megtanulására.
Az alapötlet – a tanulás a pozitívumok és a mintavételezett negatívok szembeállításával – most a modern önfelügyelt és kontrasztív reprezentációs tanulás alapja a látás, nyelv és ajánlások mentén. A jövőbeli munka a kemény negatív bányászatra (az informatív negatívok kiválasztása a véletlenszerűek helyett), a hamis negatívok torzítására és a negatívok olcsó skálázására összpontosít nagy memóriabankok vagy kötegelt mintavétel segítségével. A modellek növekedésével a hatékony mintavételezési célok továbbra is nélkülözhetetlenek maradnak ott, ahol a kimeneti helyek vagy a jelölt halmazok óriásiak, például a visszakeresés és a nagyméretű ajánlók.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A negatív mintavétel és a Noise Contrastive Estimation (NCE) olyan trükkök, amelyek segítségével a modellek hatalmas szókincseket tanulhatnak anélkül, hogy költséges teljes softmaxot kellene kiszámítani. Ahelyett, hogy minden lehetséges kimenetet pontoznának, megtanítják a modellt, hogy különbséget tegyen a valódi (pozitív) példák közül néhány hamis (negatív) példától.
Mindkét módszer elkerüli a hatalmas szókincs feletti normalizálást azáltal, hogy a képzést olcsóbb bináris megkülönböztetésnek minősíti.
Az NCE megtanítja a modellt, hogy megkülönböztesse a valódi mintákat az ismert zajeloszlásból vett mintáktól.
A negatív mintavételt a word2vec skip-gram változata vezette be és tette népszerűvé.
A negatív mintavétel leegyszerűsíti az NCE-t azáltal, hogy eltávolítja a normalizálást, a sebesség valószínűségi helyességét és a jó beágyazásokat.
A 0,75-ös kitevő simítja a gyakorisági eloszlást, így a gyakori szavak nem dominálnak, és a ritka szavak továbbra is megjelennek.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Online és kemény negatív bányászat
Műszaki