Termen de glosar AI

Ce este SentencePiece?

Definiție

Un tokenizer agnostic de limbă care învață unitățile de subcuvinte direct din textul brut fără a împărți în prealabil spațiile albe.

Termeni înrudiți

CLIP
O arhitectură model multimodală care învață reprezentări partajate între text și imagini.
Învățare continuă
Abordări de formare care permit unui model să continue să învețe din date noi, fără a uita cunoștințele anterioare.
Învățare în context
Capacitatea unui model de a urma tipare din exemplele furnizate direct în prompt.
Clasificarea intențiilor
Prezicerea scopului utilizatorului dintr-o interogare text pentru a o ruta corect.
Model de limbă mare (LLM)
Un model de limbaj instruit pe corpuri de text masive pentru a genera și analiza text.
Jeton
O bucată de text procesată de modele de limbaj, cum ar fi un cuvânt sau un simbol.

Aflați mai multe în ghidurile noastre gratuite

SentencePiece Tokenization

Vezi și

BPE (Byte Pair Encoding)ANN (Approximate Nearest Neighbor)Sliding Window AttentionHNSWALiBiRerankerRoPE (Rotary Positional Embeddings)Hybrid Search
Răsfoiți întregul glosar AIExplorați toate ghidurile AI gratuite