Il prossimoProssima guida
Sondaggio lineare e valutazione delle feature congelate
Tecnico
GUIDA TECNICA
Il trucco dell'hashing delle feature converte feature categoriche o testuali, potenzialmente provenienti da un vocabolario enorme o illimitato, in un vettore numerico di dimensione fissa applicando una funzione di hash a ciascun nome di feature e usando il risultato come indice, anziché costruire e memorizzare un dizionario esplicito chemappa ogni valore univoco su una colonna.
Ascolta questa guidaNarrato dall'IA · ~3 min
È importante perché consente ai modelli di gestire vocabolari molto grandi o in streaming, come ogni parola o ogni ID utente, con una memoria costante e prevedibile, al costo di occasionali collisioni di hash.
The feature hashing trick solves a practical problem with categorical and text features: their vocabulary can be enormous or open-ended, such as every possible word or every user ID, and building an explicit one-hot encoding requires a dictionary that maps each unique value to a fixed position, which grows without bound and must be updated whenever a new value appears. Feature hashing sidesteps this by applying a hash function, such as MurmurHash, directly to each feature's string representation and taking the result modulo a fixed number of buckets, say 2^18 or 2^20, to get its index in the feature vector. There is no dictionary to build, store, or synchronize between training and inference; the same hash function always maps the same input string to the same bucket. The unavoidable cost is hash collisions: two different feature values can hash to the same bucket, merging their signal so the model can no longer fully distinguish their individual contributions. In practice, this cost is usually modest when the number of buckets is large relative to the number of genuinely important distinct features, since collisions between two rare, unrelated features rarely hurt overall accuracy much, especially with high-dimensional linear models. A refinement, sometimes called the signed hashing trick, also hashes each feature to a random sign, +1 or -1, added along with the value, which makes collisions partially cancel out on average rather than always adding constructively, reducing bias in the resulting feature values. A common misconception is that feature hashing is a form of dimensionality reduction like PCA; it is not, since it doesn't try to preserve variance or structure, only to give a fixed-size representation of an unbounded feature space at the cost of some collision noise.
Un classificatore di spam per email esegue l'hashing di ogni parola in un messaggio in uno di, diciamo, 2^20 bucket, evitando la necessità di mantenere un dizionario di ogni parola mai vista in un set di addestramento in continua crescita.
Un sistema di pubblicità online esegue l'hashing degli identificatori di utenti e annunci, che si contano a miliardi e crescono costantemente, in un vettore di feature a dimensione fissa in modo che la dimensione di input del modello non debba mai cambiare man mano che appaiono nuovi utenti e annunci.
Un sistema di raccomandazione esegue l'hashing degli SKU di prodotti in un numero fisso di bucket, consentendo di rappresentare immediatamente il nuovo inventario senza dover riaddestrare un codificatore dipendente dal vocabolario.
Due parole rare e non correlate finiscono per subire l'hashing nello stesso bucket in un classificatore di testo, una collisione, facendo sì che il modello confonda leggermente il loro segnale, un compromesso accettato in cambio di un utilizzo di memoria costante.
L'hashing delle feature rimane una tecnica standard per modelli lineari su larga scala e alberi con gradient boosting che operano su dati categorici ad alta cardinalità, in particolare nella pubblicità, nella ricerca e nei sistemi di raccomandazione dove i vocabolari sono enormi e in costante cambiamento. Nel deep learning, le tabelle di embedding apprese sono diventate un'alternativa più comune per rappresentare le feature categoriche, sebbene l'hashing sia ancora utilizzato come soluzione di fallback limitata in memoria o combinato con gli embedding per limitare la dimensione della tabella per vocabolari estremamente grandi come miliardi di ID utente o di elementi. Il metodo principale in sé è semplice e consolidato dal punto di vista matematico, quindi i futuri sviluppi si concentreranno probabilmente su architetture ibride di hashing-più-embedding piuttosto che sulla modifica del meccanismo di hashing.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Il trucco dell'hashing delle feature converte feature categoriche o testuali, potenzialmente provenienti da un vocabolario enorme o illimitato, in un vettore numerico di dimensione fissa applicando una funzione di hash a ciascun nome di feature e usando il risultato come indice, anziché costruire e memorizzare un dizionario esplicito che mappa ogni valore univoco su una colonna. È importante perché consente ai modelli di gestire vocabolari molto grandi o in streaming, come ogni parola o ogni ID utente, con una memoria costante e prevedibile, al costo di occasionali collisioni di hash.
L'hashing delle feature sostituisce un dizionario esplicito in continua crescita di valori univoci con una mappatura diretta da hash a bucket, in modo che la dimensione dello spazio delle feature rimanga fissa indipendentemente dalla crescita del vocabolario.
L'indice del bucket deriva dall'hashing del nome della feature e prendendo il risultato modulo m, il numero scelto di bucket, senza che sia necessaria alcuna ricerca nel dizionario.
Una collisione si verifica quando due valori di feature distinti vengono inseriti tramite hash nello stesso indice di bucket, quindi il modello non può più separare completamente i loro contributi individuali.
L'hashing con segno moltiplica il contributo di ciascuna feature per un segno determinato casualmente da una seconda funzione di hash, il che fa sì che i contributi in collisione si cancellino parzialmente anziché sommarsi sempre in modo costruttivo.
L'hashing con segno può far sì che i contributi delle collisioni si cancellino in media, ma le collisioni rimangono possibili e i nomi sottoposti ad hash non sono recuperabili dal solo vettore.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Sondaggio lineare e valutazione delle feature congelate
Tecnico