Il prossimoProssima guida
Incorporamenti di rappresentazione di matrioska
Intelligenza artificiale linguistica
GUIDA ALL'AI linguistica
FastText estende le rappresentazioni delle parole Skip-Gram con funzionalità di n-grammi di caratteri.
Ascolta questa guidaNarrato dall'IA · ~2 min
La rappresentazione della sottoparola consente di comporre un vettore per un token assente dal vocabolario di addestramento quando i suoi pezzi di carattere sono disponibili.
Bojanowski et al. descrivere un modello Skip-Gram in cui una parola è rappresentata come la somma dei vettori per i suoi caratteri n-grammi, inclusa l'intera parola. Gli N-grammi vengono sottoposti ad hashing in una tabella bucket. I parametri condivisi della sottoparola consentono al modello di costruire una rappresentazione per una parola non osservata come un token intero, soggetta ai pezzi di carattere disponibili. Il documento valuta l'approccio su compiti e linguaggi denominati; i suoi risultati non implicano che ogni parola sconosciuta riceva un significato affidabile. Il repository ufficiale fastText documenta anche un classificatore supervisionato, una caratteristica distinta dal modello di vettori di parole del documento.
Concetto di carta: rappresentare una parola utilizzando il suo carattere n-grammi più la parola intera.
Concetto di carta: inserire n grammi in una tabella fissa e sommare i loro vettori appresi.
Valutazione dell'articolo: le informazioni sulle sottoparole aiutano nei compiti riferiti dagli autori relativi alle parole rare e sensibili alla morfologia.
Progetto ufficiale fastText: fornisce vettori di parole separati e funzionalità di classificazione del testo supervisionata.
Quando si valutano le rappresentazioni delle sottoparole, testare parole rare e morfologicamente complesse del dominio target e misurare gli errori e la copertura. Tratta FastText, BPE e WordPiece come metodi distinti con i propri documenti e implementazioni; evitare di dedurre un lignaggio o una prevalenza di distribuzione attuale dall'uso condiviso di unità di sottoparole.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
FastText estende le rappresentazioni delle parole Skip-Gram con funzionalità di n-grammi di caratteri. La rappresentazione della sottoparola consente di comporre un vettore per un token assente dal vocabolario di addestramento quando i suoi pezzi di carattere sono disponibili.
FastText decompone ogni parola in n-grammi di caratteri e somma i loro vettori per formare la rappresentazione della parola.
Poiché FastText compone vettori da parti di sottoparole, può creare una rappresentazione per parole mai viste durante l'addestramento.
"dove" produce trigrammi come <wh, whe, her, ere, re>, più la parola intera token; "whe" è uno di questi.
FastText estende Skip-Gram con obiettivo di campionamento negativo, aggiungendo vettori di sottoparole n-gram.
Le lingue morfologicamente ricche producono molte forme di parole; la condivisione dei vettori delle sottoparole consente a FastText di metterli in relazione in modo naturale.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Incorporamenti di rappresentazione di matrioska
Intelligenza artificiale linguistica