Műszaki ÚTMUTATÓ

Negatív mintavétel és zaj kontrasztív becslés

A negatív mintavétel és a Noise Contrastive Estimation (NCE) olyan trükkök, amelyek segítségével a modellek hatalmas szókincseket tanulhatnak anélkül, hogy költséges teljes softmaxot kellene kiszámítani.

Hallgassa meg ezt az útmutatótAI-narrált · ~2 min

Ezen az oldalon2 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. A negatív mintavétel és a zajkontrasztív becslés jövője
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

Instead of scoring every possible output, they teach the model to tell real (positive) examples from a handful of fake (negative) ones.

Mély merülés

Ha egy szókincs több százezer szót tartalmaz, a normál softmax-nak minden egyes képzési lépésnél minden szóra normalizálnia kell – túl lassú. A Noise Contrastive Estimation a problémát bináris osztályozásként fogalmazza meg: adott egy cél és néhány ismert eloszlásból vett „zajminta”, tanulja meg megkülönböztetni a valódi mintát a zajtól, amely implicit módon helyreállítja a kívánt valószínűségeket explicit normalizálás nélkül. A word2vec skip-gram modellje által népszerűsített negatív mintavétel egy leegyszerűsített rokona: minden igaz (szó, kontextus) párnál k negatívot vesz mintát, és megtanítja a modellt, hogy szigmoid objektív segítségével magas pontszámot rendeljen a valódi párhoz, alacsony pontszámot pedig a hamisítványokhoz. Mindkettő egy drága többosztályú problémát sok olcsó bináris problémává alakít át, praktikussá téve a nagyszabású beágyazási képzést. A zajeloszlás megválasztása (gyakran a 3/4-es teljesítményre emelt unigrammal) erősen befolyásolja a minőséget.

Valós megvalósítás

word2vec skip-gram negatív mintavételezéssel, szóbeágyazások tanulása több milliárd tokenből teljes softmax nélkül.

A nyelvi modellek történelmileg az NCE-t használták több százezer szóból álló szókincs hatékony képzésére.

A kéttornyos beágyazási modellek betanítása érdekében a felhasználó által nem használt „negatív” elemekből mintavételező ajánló és visszakereső rendszerek.

Grafikonok és tudásgráfok beágyazása (pl. hármas fejének vagy farkának elrontása) negatív minták használatával az entitásviszonyok megtanulására.

A negatív mintavétel és a zajkontrasztív becslés jövője

Az alapötlet – a tanulás a pozitívumok és a mintavételezett negatívok szembeállításával – most a modern önfelügyelt és kontrasztív reprezentációs tanulás alapja a látás, nyelv és ajánlások mentén. A jövőbeli munka a kemény negatív bányászatra (az informatív negatívok kiválasztása a véletlenszerűek helyett), a hamis negatívok torzítására és a negatívok olcsó skálázására összpontosít nagy memóriabankok vagy kötegelt mintavétel segítségével. A modellek növekedésével a hatékony mintavételezési célok továbbra is nélkülözhetetlenek maradnak ott, ahol a kimeneti helyek vagy a jelölt halmazok óriásiak, például a visszakeresés és a nagyméretű ajánlók.

A gyakorlatba ültetés

Miért számít

  • Költség és költségvetés. Az építészeti döntések évekig növelik a teljesítményt és a működési költségeket.
  • Tisztább döntések. A technikai oktatás segít a csapatoknak a megfelelő verem kiválasztásában, nem csak a legújabb készletben.
  • Minőségellenőrzés. A jobb mérnöki döntések csökkentik a termelés megbízhatósági incidenseit.

Vigyázz

  • Egy benchmark optimalizálása elrejtheti a rendszer általános hiányosságait.
  • Az infrastrukturális és karbantartási költségeket gyakran alábecsülik.
  • A biztonsági és megfigyelhetőségi hiányosságok a rendszerek bonyolultabbá válásával nőhetnek.

Következő lépések

  1. Határozza meg a késleltetési, minőségi és költségcélokat a megvalósítás előtt.
  2. Benchmark reális terhelési és adatviszonyok mellett.
  3. Műszerfigyelés a hibák, az eltolódás és a felhasználói hatások szempontjából.
  4. A méretezés előtt készítse elő a visszagörgetési és az incidensre adott válaszútvonalakat.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the Negative Sampling and Noise Contrastive Estimation quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

What is Negative Sampling and Noise Contrastive Estimation?

A negatív mintavétel és a Noise Contrastive Estimation (NCE) olyan trükkök, amelyek segítségével a modellek hatalmas szókincseket tanulhatnak anélkül, hogy költséges teljes softmaxot kellene kiszámítani. Ahelyett, hogy minden lehetséges kimenetet pontoznának, megtanítják a modellt, hogy különbséget tegyen a valódi (pozitív) példák közül néhány hamis (negatív) példától.

Milyen problémát old meg elsősorban a negatív mintavétel és az NCE?

Mindkét módszer elkerüli a hatalmas szókincs feletti normalizálást azáltal, hogy a képzést olcsóbb bináris megkülönböztetésnek minősíti.

Hogyan fogalmazza meg a Zajkontrasztív Becslés a tanulási feladatot?

Az NCE megtanítja a modellt, hogy megkülönböztesse a valódi mintákat az ismert zajeloszlásból vett mintáktól.

Melyik modell népszerűsítette a negatív mintavételt a szóbeágyazás tanulására?

A negatív mintavételt a word2vec skip-gram változata vezette be és tette népszerűvé.

Miben különbözik a negatív mintavétel a teljes NCE-től?

A negatív mintavétel leegyszerűsíti az NCE-t azáltal, hogy eltávolítja a normalizálást, a sebesség valószínűségi helyességét és a jó beágyazásokat.

Miért veszik gyakran a negatívokat az unigram eloszlásból a 3/4 hatványra emelve?

A 0,75-ös kitevő simítja a gyakorisági eloszlást, így a gyakori szavak nem dominálnak, és a ritka szavak továbbra is megjelennek.