What is Tokenization? Definition | AI Understanding

Definiție

Procesul de împărțire a textului în jetoane pentru introducerea modelului.

Termeni înrudiți

Fereastra de context

Cantitatea maximă de jetoane de intrare pe care un model de limbă poate procesa simultan.

BPE (codare pereche de octeți)

Un algoritm de tokenizare a subcuvintelor care îmbină cele mai frecvente perechi de caractere în simboluri reutilizabile.

Componenta unui model care transformă intrarea în reprezentări latente.

Model multimodal

Un model care poate procesa sau genera mai multe tipuri de date, cum ar fi text, imagine și audio.

OCR (recunoaștere optică a caracterelor)

Tehnologie care convertește textul în imagini sau scanează în text care poate fi citit de mașină.

Un tokenizer agnostic de limbă care învață unitățile de subcuvinte direct din textul brut fără a împărți în prealabil spațiile albe.

Aflați mai multe în ghidurile noastre gratuite

SentencePiece Tokenization WordPiece Tokenization Tokenization Subword Tokenization

Vezi și

Token Tool Use Temperature Top-k Sampling System Prompt Top-p (Nucleus) Sampling Synthetic Data Transfer Learning

Răsfoiți întregul glosar AI Explorați toate ghidurile AI gratuite