DalšíDalší průvodce
ColBERT a Multi-Vector Retrieval
Jazyk AI
Jazyk AI GUIDE
GloVe je metoda slovních vektorů, která se učí z agregovaných statistických údajů o souběžném výskytu slov.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Pennington, Socher a Manning popisují vážený regresní cíl, který spojuje skalární součin vektorů s logaritmem počtu souběžného výskytu. Metoda byla představena výzkumníky Stanfordu v roce 2014.
Článek GloVe organizuje statistiky souboru do globální matice souběžného výskytu. Jeho cíl přizpůsobuje skalární součin vektorů plus biasové členy logaritmu nenulového počtu souběžného výskytu, váženému funkcí tohoto počtu. Článek motivuje cíl poměrymi pravděpodobností souběžného výskytu a uvádí výsledky na konkrétních benchmarkech podobnosti slov a analogie. GloVe vytváří statické vektory: slovo má stejný vektor napříč kontexty vět. Pennington, Socher a Manning představili GloVe na Stanfordu v roce 2014. Pro vyhodnocení analogie článek používá vektorovou aritmetiku jako b − a + c a hledá blízký slovní vektor; jde o vyhodnocenou proceduru, ne záruku, že každá relace je lineární.
Koncept článku: vytvoření matice souběžného výskytu slov ze souboru textů.
Koncept článku: přizpůsobení vektorů a biasů váženým logaritmickým počtům pozorování.
Vyhodnocení článku: testování podobnosti slov a analogického chování na benchmarkech uvedených autory.
Ilustrativní použití: porovnejte statické vektory jako jeden základ pro úzce definovaný textový úkol.
Vyhodnoťte GloVe na cílovém souboru a úkolu, pokud se zvažují statické vektory. Porovnejte s relevantními základními modely a zveřejněte volby slovní zásoby a předzpracování. Citovaný výzkum neudává současné přijetí, podíl na trhu ani nasazení pojmenovaných produktů.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
GloVe je metoda slovních vektorů, která se učí z agregovaných statistických údajů o souběžném výskytu slov. Pennington, Socher a Manning popisují vážený regresní cíl, který spojuje skalární součin vektorů s logaritmem počtu souběžného výskytu. Metoda byla představena výzkumníky Stanfordu v roce 2014.
GloVe nejprve vytvoří matici počítající, jak často se každé slovo vyskytuje společně s každým dalším slovem v celém korpusu.
Cíl GloVe nastavuje bodový součin (plus výrazy zkreslení) blízko logaritmu počtu společných výskytů.
Ústředním poznatkem GloVe je, že poměry pravděpodobností společného výskytu rozlišují významy slov, jako je tomu u ledu a páry.
Funkce vážení brání extrémně běžným párům v dominanci a přeskakuje páry, které se nikdy nevyskytují současně.
GloVe představili Pennington, Socher a Manning na Stanfordu v roce 2014, rok po Word2Vec.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
ColBERT a Multi-Vector Retrieval
Jazyk AI