Termen de glosar AI

Ce este SentencePiece?

Definiție

Un tokenizer agnostic de limbă care învață unitățile de subcuvinte direct din textul brut fără a împărți în prealabil spațiile albe.

Răsfoiți întregul glosar AIExplorați toate ghidurile AI gratuite

Termeni înrudiți

CLIPO arhitectură model multimodală care învață reprezentări partajate între text și imagini.Învățare continuăAbordări de formare care permit unui model să continue să învețe din date noi, fără a uita cunoștințele anterioare.Învățare în contextCapacitatea unui model de a urma tipare din exemplele furnizate direct în prompt.Clasificarea intențiilorPrezicerea scopului utilizatorului dintr-o interogare text pentru a o ruta corect.Model de limbă mare (LLM)Un model de limbaj instruit pe corpuri de text masive pentru a genera și analiza text.JetonO bucată de text procesată de modele de limbaj, cum ar fi un cuvânt sau un simbol.

Aflați mai multe în ghidurile noastre gratuite

SentencePiece Tokenization

Vezi și

BPE (Byte Pair Encoding)ANN (Approximate Nearest Neighbor)Sliding Window AttentionHNSWALiBiRerankerRoPE (Rotary Positional Embeddings)Hybrid Search