DalšíDalší průvodce
Lineární sondování a vyhodnocování zmrazených prvků
Technický
Technický PRŮVODCE
Trik hašování příznaků převádí kategorické nebo textové příznaky, potenciálně z obrovského nebo neomezeného slovníku, na číselný vektor o pevné velikosti. Toho dosahuje aplikací hašovací funkce na název každého příznaku a použitím výsledku jako indexu, namísto vytváření a ukládání explicitního slovníku, který mapuje každou unikátní hodnotu na sloupec.
Poslechněte si tento návodAI-vyprávěný · ~3 min
Je to důležité, protože to umožňuje modelům pracovat s velmi velkými nebo streamovanými slovníky, jako je každé slovo nebo každé ID uživatele, s konstantní, předvídatelnou pamětí, za cenu občasných hašovacích kolizí.
The feature hashing trick solves a practical problem with categorical and text features: their vocabulary can be enormous or open-ended, such as every possible word or every user ID, and building an explicit one-hot encoding requires a dictionary that maps each unique value to a fixed position, which grows without bound and must be updated whenever a new value appears. Feature hashing sidesteps this by applying a hash function, such as MurmurHash, directly to each feature's string representation and taking the result modulo a fixed number of buckets, say 2^18 or 2^20, to get its index in the feature vector. There is no dictionary to build, store, or synchronize between training and inference; the same hash function always maps the same input string to the same bucket. The unavoidable cost is hash collisions: two different feature values can hash to the same bucket, merging their signal so the model can no longer fully distinguish their individual contributions. In practice, this cost is usually modest when the number of buckets is large relative to the number of genuinely important distinct features, since collisions between two rare, unrelated features rarely hurt overall accuracy much, especially with high-dimensional linear models. A refinement, sometimes called the signed hashing trick, also hashes each feature to a random sign, +1 or -1, added along with the value, which makes collisions partially cancel out on average rather than always adding constructively, reducing bias in the resulting feature values. A common misconception is that feature hashing is a form of dimensionality reduction like PCA; it is not, since it doesn't try to preserve variance or structure, only to give a fixed-size representation of an unbounded feature space at the cost of some collision noise.
Klasifikátor nevyžádané pošty (spam) hašuje každé slovo ve zprávě do jednoho z, řekněme, 2^20 košů, čímž se vyhýbá nutnosti udržovat slovník všech slov, která se kdy objevila v rostoucí trénovací sadě.
Systém online reklamy hašuje identifikátory uživatelů a reklam, kterých jsou miliardy a neustále přibývají, do vektoru příznaků o pevné velikosti, takže vstupní dimenze modelu se nikdy nemusí měnit, když se objeví noví uživatelé a reklamy.
Doporučovací systém hašuje SKU produktů do pevného počtu košů, což umožňuje okamžitou reprezentaci nového inventáře bez nutnosti přetrénování kodéru závislého na slovníku.
Dvě vzácná, nesouvisející slova se náhodou zahashují do stejného koše v textovém klasifikátoru, což je kolize, která způsobí, že model jejich signál mírně zamění – jde o kompromis přijatý výměnou za konstantní využití paměti.
Hašování příznaků zůstává standardní technikou pro rozsáhlé lineární modely a gradientně posílené stromy pracující s kategorickými daty s vysokou kardinalitou, zejména v reklamních, vyhledávacích a doporučovacích systémech, kde jsou slovníky obrovské a neustále se mění. V hlubokém učení se naučené tabulky vnoření (embedding tables) staly běžnější alternativou pro reprezentaci kategorických příznaků, ačkoliv hašování se stále používá jako záloha s omezenou pamětí nebo v kombinaci s vnořeními pro zastropování velikosti tabulky u extrémně velkých slovníků, jako jsou miliardy ID uživatelů nebo položek. Samotná základní metoda je jednoduchá a matematicky vyřešená, takže budoucí vývoj se pravděpodobněji zaměří na hybridní architektury hašování a vnořování než na změnu samotného hašovacího mechanismu.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Trik hašování příznaků převádí kategorické nebo textové příznaky, potenciálně z obrovského nebo neomezeného slovníku, na číselný vektor o pevné velikosti. Toho dosahuje aplikací hašovací funkce na název každého příznaku a použitím výsledku jako indexu, namísto vytváření a ukládání explicitního slovníku, který mapuje každou unikátní hodnotu na sloupec. Je to důležité, protože to umožňuje modelům pracovat s velmi velkými nebo streamovanými slovníky, jako je každé slovo nebo každé ID uživatele, s konstantní, předvídatelnou pamětí, za cenu občasných hašovacích kolizí.
Hašování příznaků nahrazuje explicitní, neustále rostoucí slovník unikátních hodnot přímým mapováním haše na koš, takže velikost prostoru příznaků zůstává pevná bez ohledu na růst slovníku.
Index kbelíku se získá hashováním názvu příznaku a provedením operace modulo m (zvolený počet kbelíků) s výsledkem, aniž by bylo nutné vyhledávání ve slovníku.
Ke kolizi dochází, když jsou dvě různé hodnoty příznaků zahasovány do stejného indexu kbelíku, takže model již nedokáže plně oddělit jejich individuální příspěvky.
Podepsané hashování násobí příspěvek každého příznaku náhodně určeným znaménkem z druhé hashovací funkce, což způsobuje, že se kolidující příspěvky částečně ruší, namísto toho, aby se vždy sčítaly.
Podepsané hashování může zajistit, že se příspěvky kolizí v očekávání vynulují, kolize však nadále zůstávají možné a zahasované názvy nelze ze samotného vektoru obnovit.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Lineární sondování a vyhodnocování zmrazených prvků
Technický